Spark SQL： Relational Data Processing in Spark Spark SQL : Spark中关系型处理模块 说明: 类似这样的说明并非是原作者的内容翻译，而是本篇翻译作者的理解（可以理解为批准），所以难免有误，特注！ 当然翻译也可能有误！ Date Contents 2019.03.12 First Edition 2019.04.... ...继续阅读 (48)

Using Real-world Images 参考：Ubuntu 16 安装TensorFlow及Jupyter notebook 安装TensorFlow。 本篇博客翻译来自 Introduction to TensorFlow for Artificial Intelligence, Machine Learning, and Deep Learning 仅供学习、交流等非盈利性质... ...继续阅读 (44)

Enhancing Vision with Convolutional Neural Networks 参考：Ubuntu 16 安装TensorFlow及Jupyter notebook 安装TensorFlow。 本篇博客翻译来自 Introduction to TensorFlow for Artificial Intelligence, Machine Learning, and D... ...继续阅读 (47)

TensorFlow入门课程 本篇博客翻译来自 Introduction to TensorFlow for Artificial Intelligence, Machine Learning, and Deep Learning ...继续阅读 (48)

A New Programming Paradigm 参考：Ubuntu 16 安装TensorFlow及Jupyter notebook 安装TensorFlow。 本篇博客翻译来自 Introduction to TensorFlow for Artificial Intelligence, Machine Learning, and Deep Learning 仅供学习、交流等非盈... ...继续阅读 (45)

Spark读取Hive on Tez任务问题 参考 Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found出现的问题后续，由于HDP集群调整Hive引擎为Tez后，出现的问题。具体问题如下： 19/03/18 10:40:16 INFO client.TezClient: Session mode. Star... ...继续阅读 (44)

Ubuntu 16 安装TensorFlow及Jupyter notebook 文章目录Ubuntu 16 安装TensorFlow及Jupyter notebook1. 软件版本2. 安装过程3. 测试 本文主要讲述Windows上VMware虚拟机中Ubuntu16.04（最小化安装版，没有安装界面环境） 安装TensorFlow及Jupyter notebook的过程 1. 软件版本 ... ...继续阅读 (42)

文章目录Spark ALS recommendForAll源码解析实战1. 软件版本：2. 本文要解决的问题3. 源码分析实战3.1 Spark2.2.2 ALS recommendForAll 实战分析1. 首先给出其核心实现源码：2. blockify函数3. cartesian flatMap的优势4. flatMap的处理逻辑3.2 Spark1.6.3 ALS recommendForA... ...继续阅读 (43)

文章目录Spark ALS应用BLAS加速1. 环境2. 问题引入3. 参考：4. 思路：4.1 简单测试：4.2 使用Native BLAS需要添加的Jar包方式1：在Intellij IDEA 中添加依赖找到方式2： 自行指定参数编译Spark源码4.3 使用新编译的Spark测试是否加载Native BLAS5. 修改官网提供的安装包，使其加载BLAS5.1 使用 --jars 参数5.2 ... ...继续阅读 (47)

文章目录Spark Shell 启动NullPointerException提示getZipEntry1. 软件版本：2. 问题描述：3. 问题解决思路4. 后续 Spark Shell 启动NullPointerException提示getZipEntry 1. 软件版本： 软件 版本 CDH CDH-5.7.3-1.cdh5.7.3.p0.5 Spark Standalon... ...继续阅读 (46)

Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not foundClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found1. 思路第一步2. 新问题及解决 Class org.datanucleus.api.jdo.JDOPersi... ...继续阅读 (50)

Spark延迟30秒Spark延迟30秒1. 环境/版本/测试代码1.1 使用软件版本：1.2 集群部署1.3 测试代码2. 时间线3. 问题重述及分析 Spark延迟30秒 问题引出：问题来源于一次小的测试，在进行一个常规的读取Hive数据，并使用Spakr MLlib中的Describe进行基本的表统计时，发现Executor的任务发起到任务实际执行相差30秒左右，故此引出本篇博客。 1. 环... ...继续阅读 (43)

Spark 常用编程技巧 Spark Version : 2.2.0 1. 基础篇 1.1 Scala 篇 求均值 描述： 求一个Double类型的均值，含有NaN类型（去掉NaN后求均值）； scala> val data = Array(1,2,3.0) data: Array[Double] = Array(1.0, 2.0, 3.0) scala> def sum_num... ...继续阅读 (46)

Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（二） 如果没有编译好Oozie，并部署到集群，请参考：Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（一） Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（二） 1. 准备工作 2. Hive... ...继续阅读 (64)

Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（一） Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（一） 1. 需求： 2. 前期预研： 3. 前期准备 4. 导入工程及编译修改 4.1 修改为Hadoop3 4.2 加入Hadoop-common的依赖 4.3 修改类 4.4 修改主pom.x... ...继续阅读 (47)

Spark DataFrame vector 类型存储到Hive表 Spark DataFrame vector 类型存储到Hive表 软件版本 场景描述 问题的迂回解决方法 示例 1. 软件版本 软件 版本 Spark 1.6.0 Hive 1.2.1 2. 场景描述 在使用Spark时，有时需要存储DataFram... ...继续阅读 (52)

Spark ClassNotFoundException $$anonfun$2 1. 软件环境： 软件 版本 Spark 原生1.6.0 Hadoop 原生2.6.5 2. 应用场景&问题描述 使用Java Web提交任务到Spark Standalone集群中运行任务，运行任务的过程中，指定主类，比如a.b.c.Test， 那么主类 ...继续阅读 (46)

环境 软件 版本 Elasticsearch 2.3.3 spark cdh-1.6.0 idea 2016 问题描述：现在有一个Elasticsearch集群，需要使用SparkSQL直接连接进行读取，参考Elasticsearch官网代码，直接编写下面的程序进行读取(在Windows上编写程序，提交到远程Spark Standalone集群）：public clas ...继续阅读 (47)

Java Web提交任务到Spark Standalone集群并监控 环境 工程下载路径 Spark任务提交流程 问题及问题解决 后记Java Web提交任务到Spark Standalone集群并监控1. 环境 软件 版本 备注 IDEA 14.1.5 JDK 1.8 Spark 1.6.0 工程maven引用 Spark cdh5.7.3 ...继续阅读 (47)

问题描述：在使用TensorFlowOnSpark做测试的时候，发现任务，老是卡着并没有实际的运行。解决方法：1. 由于我使用的是自编译的TensorFlow，当时编译的时候有一个enable HDFS，默认是false，所以再次编译了一遍，把对应的HDFS enable设置为了true；2. 没有严格参考官网：   官网上面在使用spark-submit提交的时候，添加了--conf参数，而我以 ...继续阅读 (44)

软件环境：CDH5.8.0；问题：在使用Spark SQL 读取Hive进行操作的时候，需要使用不包含，如下：（在Spark SQL中有contains，like，rlike函数）在Hive中有表id_url ，内容如下：+------------+-----------------------------------+--+ | id_url.id | id_url.url | +------------+-----------------------------------+--+ | 1 | http://abc.com/ac/10987_2.html | | 2 | http://abc.com/ac/109872.html | | 3 | http://abc.com/ac/10987_4.html | | 4 | http://abc.com/ac/10987_30.html | | 14 | http://abc.com/ac/a10987_30.html | | 42 | http://abc.com/ac/c10987_30.html | | 43 | http://ab ...继续阅读 (50)

软件版本： Spark：1.6.1 ； 问题1：在进行Spark DecisionTree建模时（做分类），可以打印决策树。当然，使用该模型的toDebugString 可以打印类似下面的字符串，例如：DecisionTreeModel classifier of depth 7 with 45 nodes If (feature 22 <= 114.2) If (feature 27 <= 0.1108) If (feature 13 <= 45.19) If (feature 21 <= 32.84) Predict: 0.0 Else (feature 21 > 32.84) If (feature 1 <= 22.61) If (feature 0 <= 11.49) Predict: 0.0 Else (feature 0 > 11.49) Predict: 1.0 Else (feature 1 > 22.61) Predict: 0.0 Else (feature 13 > 45.19) If (feature 21 <= 22.13) Predict: 0.0 Else (fe ...继续阅读 (55)

软件版本：Sqoop：1.4.6-cdh5.7.3，tomcat：7，JDK：1.7，Intellij Idea 2014 ， Hadoop集群：CDH5.7.3；mysql：5.6；问题描述：在使用Sqoop的API操作数据从Mysql表导入到HDFS的时候，如果直接使用Java程序，那么是可以调用程序并运行成功的；但是，启动Tomcat调用，则会失败。前备知识：1. 使用Java API操作Sqoop进行数据传输时，其代码如下：String[] args = new String[]{"import","--connect", "jdbc:mysql://192.168.0.137:3306/hibernate?characterEncoding=utf-8", "--username", "fansy", "--password", "fansy", "--table","t_log", "--target-dir","/tmp/fansy_sqoop/"+System.currentTimeMillis() }; com.cloudera.sqoop.Sqoop.runTool(sqoopComman ...继续阅读 (51)

1. 软件版本：IDE：Intellij IDEA 14，Java：1.7，Scala：2.10.6；Tomcat：7，CDH：5.8.0； Spark：1.6.0-cdh5.8.0-hadoop2.6.0-cdh5.8.0 ； Hadoop：hadoop2.6.0-cdh5.8.0；(使用的是CDH提供的虚拟机)2. 工程下载及部署：Scala封装Spark算法工程：https://github.com/fansy1990/Spark_MLlib_Algorithm_1.6.0.git ；调用Spark算法工程：https://github.com/fansy1990/Spark_MLlib_1.6.0_.git ；部署（主要针对Spark_MLlib_1.6.0工程）：1）配置好db.properties中相应用户名密码／数据库等参数； 2）第一次启动tomcat，修改hibernate.cfg.xml文件中的hibernate.hbm2ddl.auto值为create，第二次启动修改为update； 3) 打开集群参数页面，点击初始化，初始化集群参数，如果集群参数和当前集群不匹配，那么需要做相应修改； 暂时考虑使用配置文件的方式来配置集群参数，如果要调整为数据库配置，那么修改Utisl.dbOrFile参数即可；即，暂时只需修改utisl.properties文件； 4 ...继续阅读 (55)

本篇博客参考：http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/ 软件版本：CDH：5.7.2，JDK：1.7；问题描述：在使用Spark On YARN时（无论是Client模式或者是Cluster模式，当然下面会有这种模式的对比区别），可以添加诸如：--executor-memory 8G --executor-cores 5 --num-executors 20等等这样的参数，但是这个和我们平常理解的感觉有误，或者说不直观，怎么说呢？比如一个6节点（NodeManager）的集群，每个节点配置为：16 CPU核，64G内存，那么一般很容易提交代码的时候写成如下配置：--num-executors 6 --executor-cores 15 --executor-memory 63G但是这样配置后，你会发现，在8088端口的YARN监控上得到的不是你想得到的资源分配，那正确的配置应该是怎样的呢？前备知识：1. YARN NodeManager资源NodeManager所在的机器如果是16核、64G，那么设置如下参数（这两个参数是NodeManager能分配的最大内存和最大cpu）：yarn.nodemanager.resource.memory-mb yarn ...继续阅读 (69)

软件版本：IDE：Intellij IDEA 14，Java：1.7，Tomcat：7，CDH：5.8.0； Spark：1.6.0-cdh5.8.0-hadoop2.6.0-cdh5.8.0 ； Hadoop：hadoop2.6.0-cdh5.8.0；部署环境：1. 在Windows10 上启动IDEA ，并启动Tomcat，在Tomcat中使用Spark On YARN的方式调用封装好的Spark算法；2. 调用的集群使用CDH集群（使用的是Cloudera官网下载的虚拟机，所以是单节点，由于这个是单机版的所以把YARN的配置文件改了下，改为使用YARN，而且虚拟机还配置了静态ip）；工程参考：1. Web工程调用Spark集群算法，使用Spark On YARN的方式调用，参考基于Spark ALS在线推荐系统 ，不过这个使用的是原生Spark及Hadoop安装包进行集群部署及工程配置的；（说白了就是不适合CDH集群，如果适合的话，还写这篇文章干啥）；2. Spark算法封装参考：https://github.com/fansy1990/Spark_MLlib_Algorithm_1.6.0 ，这个工程install即可得到对应的封装好的算法Jar包；3. 本文章使用的工程参考：https://github.com/fansy1990/Spark_MLli ...继续阅读 (66)

软件版本：Mac：10.12.1，Spark：1.6.0-cdh5.7.3，JDK：1.7.0_79 ; IDEA：14；问题描述：在Mac上运行Spark程序时（采用local 生成SparkContext的方式，具体参考：https://github.com/fansy1990/Spark_MLlib_Algorithm_1.6.0/blob/master/src/test/scala/com/fz/classification/SVMTest.scala），提示如下错误：这个错误网上查，StackOverFlow上的一些帖子好像说是Mac上面的JDK1.7的版本有点问题，代码是lz实验的一种解决方案；解决方案：1. 确认Spark使用的snappy版本，由于我的项目是maven的，所以直接查看其依赖即可，如下：2. 查看版本后，在本地maven库中找到这个jar包，如下：然后解压这个jar包 :unzip snappy-java-1.0.4.1.jar接着，在本地目录就会有一个org目录了，去下面找到：3.复制文件网上有说把文件拷贝到/usr/lib下面，不过我mac上使用sudo也拷贝不了，当然也有说拷贝到/usr/local/lib下面的，有些人这个目录是系统目录，不过我的不是，而且其实我的压根就没有这个目录；不过，我仍然是把libsnappyjava.jnilib拷贝到 ...继续阅读 (56)

软件环境：CDH：5.7.3；Oozie：4.1.0-CDH5.7.3 ； Spark：1.6.0-cdh5.7.3-hadoop2.6.0-cdh5.7.3 ； Hadoop：hadoop2.6.0-cdh5.7.3（HDFS 采用HA方式）；问题描述：在使用CDH5.7.3版本的时候，发起一个Oozie工作流，该工作流使用Spark On YARN的方式提交一个Spark程序，但是在Oozie中该程序运行失败，同时找到YARN监控中对应的任务，发现出现下面的错误（该Spark任务如果使用spark-submit --master yarn的方式是可以提交并正确运行的）：解决思路：1. 首先就是各种网上找不过并没有找到相关的信息，找到一些，不过和我出现的问题有点不一样（有个论坛上好像说是bug）;2. 查看源码准备环境，查看其源码，看是哪个地方报的Requirement failed，在上图中红色框里面就是对应的内容，其源代码如下所示：而require函数如下：这里面就会有提示 requirement failed那么也就是说在473行中的localizedPath等于null，这样子，那么473行的require函数验证就不会通过，就会报这个异常了；localizedPath是怎么得到的呢？这个是通过distribute函数得到，distribute函数里面的参数file其实是 ...继续阅读 (51)

软件版本及平台：CDH5.8、四子节点（cpu：2核、内存：4G）、JDK：1.7、IDEA14 、 Spark：1.6.0-cdh5.7.3；代码下载：问题描述：现有用户项目评分数据，其格式如下所示：u1,item1,0.0913375062480507 u2,item1,0.4061823571029518 u3,item1,0.021727289053235843 u4,item1,0.24172510761164112 u5,item1,0.7898802150245668 u6,item1,0.2166110282064876现需要求得每个用户对项目的评分前10个的数据，如下所示：(u9,List((item74540,0.9999953894581668), (item76768,0.9999930103445652), (item21169,0.9999889286058848), (item4820,0.9999782306748293), (item85543,0.9999663834573093), (item8372,0.9999487766494871), (item99252,0.9999365275502845), (item23653,0.9999347307884792), (item19615,0.9999236599402785), (item3 ...继续阅读 (60)

软件版本：CDH：5.8.0；Hadoop：2.6.0 ； Spark：1.6.0； Hive：1.1.0；JDK：1.7 ； SDK：2.10.6（Scala）工程下载：https://github.com/fansy1990/spark_hive_source_destination/releases/tag/V1.1目标：在Spark加载PMML文件处理数据（参考：http://blog.csdn.net/fansy1990/article/details/53293024）及Spark读写Hive（http://blog.csdn.net/fansy1990/article/details/53401102）的基础上，整合这两个操作，即使用Spark读取Hive表数据，然后加载PMML文件到模型，使用模型对读取对Hive数据进行处理，得到新的数据，写入到新的Hive表。实现：1. 工程pom文件，工程pom文件添加了spark、spark-hive以及pmml的依赖支持，如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=&quo ...继续阅读 (65)