环境：CDH5.8，Spark：1.6.0；Hadoop：2.6.0，Intellij IDEA14 ，jdk1.8，sdk：2.10.6 ，maven：3.3.3；工程下载地址：https://github.com/fansy1990/spark_hive_source_destination1. Spark读取HiveSpark读取Hive，使用的是HiveContext，第一步使用sc生成一个HiveContext，然后其他操作就是在HiveContext里面操作了；比如使用HiveContext的tables()方法，那么就可以得到Hive中所有表的相关信息，使用工程中的hiveinout.SparkReadHive的测试类，在终端中运行：spark-submit --class hiveinout.SparkReadHive --master yarn --deploy-mode cluster --jars /usr/lib/hive/lib/datanucleus-core-3.2.10.jar --files /usr/lib/hive/conf/hive-site.xml spark_hive-1.0-SNAPSHOT.jar其中，使用的是Spark On YARN的方式来运行，这里还需要指定第三方jar，也就是datanucleus相关jar以及hive-sit ...继续阅读 (57)

问题：移动硬盘格式是exfat的，在mac中未能正确推出移动硬盘，然后就被直接拔掉了；插在windows上，显示未能访问；直接重启windows，就可以访问该移动硬盘了，但是推出后，再次插入到mac上还是读取不了；修复方法：1. 插入到windows上，比如读取到的是I盘符；2. 打开dos窗口，运行命令： chkdsk I: /f等待修复完成：这时，再次退出，然后插入到mac上，即可看到该移动硬盘了；如果您觉得lz的文章还行，并且您愿意动动手指，可以为我投上您的宝贵一票！谢谢！http://blog.csdn.net/vote/candidate.html?username=fansy1990 ...继续阅读 (35)

软件版本：CDH:5.8.0 , CDH-hadoop :2.6.0 ; CDH-spark :1.6.0 目标：使用Spark 加载PMML文件到模型，并使用Spark平台进行预测（这里测试使用的是Spark on YARN的方式）。具体小目标：1. 参考https://github.com/jpmml/jpmml-spark 实现，能运行简单例子；2. 直接读取HDFS上面的输入数据文件，使用PMML生成的模型进行预测；（第1点和第2点的不一样的地方体现在输入数据的构造上，可以参看下面的代码）具体步骤：1. 准备原始数据，原始数据包括PMML文件，以及测试数据；分别如下：<?xml version="1.0" encoding="UTF-8" standalone="yes"?> <PMML version="4.2" xmlns="http://www.dmg.org/PMML-4_2"> <Header description="linear SVM"> <Application name="Apache Spark MLlib"/> &l ...继续阅读 (35)

1. 软件版本：Hadoop2.6.0（IDEA中源码编译使用CDH5.7.3，对应Hadoop2.6.0），集群使用原生Hadoop2.6.4，JDK1.8，Intellij IDEA 14 。源码可以在https://github.com/fansy1990/linear_regression 下载。2. 实现思路：本博客实现的是一元一次线性方程，等于是最简单的线性方程了，采用的是Couresa里面的机器学习中的大数据线性方程的方法来更新参数值的（即随机梯度下降方法，当然也可以使用批量梯度下降方法来实现，只是在LinearRegressionJob中实现的不一样而已），如果对随机梯度下降或者批量梯度下降不了解的话，需要先去看看。下面是实现思路：2.1 Shuffle Data（打乱数据）：如果要采用随机梯度下降的话，那么需要保持原始数据随机，所以这里的第一步就是随机打乱原始数据。采用的思路是：在Mapper端输出随机值作为key，输出当前记录作为value，在Reducer端直接遍历每个key的所有values，直接输出value以及NullWritable.get即可。在这里添加一个额外的参数randN，这个参数表示在Mapper端随机值时，多少个原始数据使用同一个随机值，如果randN为1，那么每个原始数据都会使用一个随机值作为key，如果randN为2，那么每两 ...继续阅读 (41)

软件版本： Hadoop2.6.0 （源码使用CDH5.7.0 ，对应hadoop 2.6.0），集群使用Hadoop2.6.4（原生,JDK1.8）, Intellij idea14 (JDK1.8);问题描述： 使用Intellij IDEA编译打MR程序的Jar包，可以直接在终端使用hadoop jar的方式运行，但是直接在Intellij IDEA中提交却任务失败？查询日志表现为：2016-10-26 09:01:48,566 ERROR [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: ERROR IN CONTACTING RM. org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=-1, maxMemory=1548看日志说申请的资源内存为-1，怎么会为-1呢，往上再次查看日志，发现2016-10-26 09:01:47,618 INFO [Threa ...继续阅读 (80)

在进行Spark ALS算法进行试验的时候发现模型对所有用户其推荐结果是一样的，即针对所有用户建模得到的模型对其推荐的项目是一样的，只是评分有比较小的差异。下面就分3个部分来进行分析，分别是实验过程及结果描述，ALS算法原理，问题分析及解决。实验过程及结果此部分参考：https://databricks-training.s3.amazonaws.com/movie-recommendation-with-mllib.html（里面有两个部分有点问题，下面会有描述，不过也可能是我理解错误了）。1. 上传数据到HDFS，需要上传ratings。dat  文件以及movies.dat文件，上传后到数据如下图所示：2. 打开Spark shell 进行Spark ALS算法调用；3. 加载电影信息数据以及评分数据，其代码如下所示：// 设置日志级别 sc.setLogLevel(“WARN”) // 导入必要的包 import org.apache.spark.mllib.recommendation._ // 加载movies 数据到map val movies = sc.textFile("/user/root/als/movies.dat").map{line => val fields = line.split("::&q ...继续阅读 (56)

所用技术：Bootstrap、flat-ui 、 Servlet、Spark1.4.1、Hadoop2.6.0、JDK说明：本系统不涉及ssh相关内容，只有简单的Servlet和JSP、HTML页面，系统架构相对简单。系统部署：1. 拷贝spark-assembly-1.4.1-hadoop2.6.0.jar到WebContent/WEB-INF/lib目录；（spark-assembly-1.4.1-hadoop2.6.0.jar文件由原生spark-assembly-1.4.1-hadoop2.6.0.jar删除javax/servlet包获得，由于太大，所以就没有上传了）；2. 拷贝原生spark-assembly-1.4.1-hadoop2.6.0.jar文件到HDFS（目录和代码中一致）；3. 拷贝WebContent/WEB-INF/lib目录中的Spark141-als.jar到HDFS（目录和代码中保持一致）；4. 拷贝Hadoop集群（调用所使用的集群，每个人不一样）配置文件yarn-site.xml到HDFS（目录和代码中保持一致）；5. 修改相关配置文件，由于hadoop相关配置、系统的一些属性需要修改为实际的配置及属性，所以针对这些需要进行修改（后面版本中会对此单独一个配置文件），例如：或系统使用数据为movielens上面的数据，下载地址为：http:// ...继续阅读 (41)

软件版本：Spark1.4.1 ，Hadoop2.6，Scala2.10.5 , Eclipse4.5.1，intelliJ IDEA14，JDK1.7集群环境：windows7 （包含JDK1.7，Eclipse4.5.1，IntelliJ IDEA14）；centos6.6虚拟机（Hadoop分布式集群，JDK1.7）node1：NameNode/ResourceManager ; node2: SecondaryNameNode ; node3/node4: DataNode/NodeManangernode1->192.168.0.31 ;（其他节点ip以此类推）任务描述：实现Eclipse直接调用使用IDEA打包好的jar包，调用Spark相关算法；步骤及代码描述：1.  使用IDEA打包相关算法jar包，如Spark-als.jar ，在算法里面不需要设置spark master，如下代码：val conf = new SparkConf().setAppName("train ALS Model ") val sc = new SparkContext(conf) val ratings = sc.textFile(input).map{2. 在Eclipse中新建Java Project，并把Spark-als.j ...继续阅读 (133)

版本：Centos6.7（桌面版）；oracle11gR2（两个压缩包）；jdk1.71. 软件准备：0. Centos系统要求：1）内存(RAM) 2GB+；2）虚拟内存 swap 建议：内存为 2GB~16GB 时swap大小为内存的大小；内存超过 16GB 时swap保持16GB；1. Centos6.7桌面版安装好后，默认已经安装了openjdk，所以需要自己再安装个oracle，比如下面的：java version "1.7.0_55" Java(TM) SE Runtime Environment (build 1.7.0_55-b13) Java HotSpot(TM) 64-Bit Server VM (build 24.55-b03, mixed mode)2. Centos6.7桌面版安装好后，配置yum源，直接使用的是安装盘iso挂载：/etc/yum.repos.d/CentOS-Media.repo:[c6-media] name=CentOS-$releasever - Media baseurl=file:///media/CentOS_6.7_Final gpgcheck=0 enabled=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-63. 下载oracle11g的安装 ...继续阅读 (85)

1. 软件版本和部署maven：3.3.9，jdk：1.7 ，Struts2：2.3.24.1，hibernate：4.3.6，spring：4.2.5，MySQL：5.1.34，Junit：4，Myeclipse：2014；Hadoop2.6.4，HBase1.1.2源码下载：https://github.com/fansy1990/ssh_v3/releases部署参考：http://blog.csdn.net/fansy1990/article/details/51356583 数据下载：http://download.csdn.net/detail/fansy1990/9540865 或  http://pan.baidu.com/s/1dEVeJz7 请先参考上篇Blog： 基于HBase的冠字号查询系统1--理论部分 ；2. 系统功能&核心实现2.1 系统首页冠字号查询系统，主要包括两方面功能：1. 把原始数据通过MR流程从HDFS导入到HBase，提供通用接口；2. 提供冠字号查询功能、提供存款、取款功能；2.2 数据加载功能数据加载功能是一个通用的HBase表数据导入功能；用户只需提供原始数据路径（HDFS）、HBase表名（该表需要先存在）、列描述（参考前篇博客此参数解释）、字段分隔符、时间格式即可；2.2 ...继续阅读 (99)

1. 软件版本和部署maven：3.3.9，jdk：1.7 ，Struts2：2.3.24.1，hibernate：4.3.6，spring：4.2.5，MySQL：5.1.34，Junit：4，Myeclipse：2014；Hadoop2.6.4，HBase1.1.2源码下载：https://github.com/fansy1990/ssh_v3/releases部署参考：http://blog.csdn.net/fansy1990/article/details/51356583 数据下载：http://download.csdn.net/detail/fansy1990/9540865 或  http://pan.baidu.com/s/1dEVeJz7 2. 背景&思路目前针对钞票识别，一般都是使用看、摸、听、测四种方式，这里使用一种比较客观的方式类进行识别。   建设冠字号管理查询系统，以冠字号查询为手段，有效解决银行对外误付假币的问题。从源头解决伪钞问题。本系统就是使用客观的方法来验证伪钞。本系统采用的方案是基于冠字号的，每张人民币的冠字号是唯一的，如果有一个大表可以把所有的人民币以及人民币对应的操作（在什么时间、什么地点存入或获取）记录下来，这样在进行存取时就可以根据冠字号先查询一下，看当前冠字号对应的纸币在大 ...继续阅读 (110)

软件版本：hadoop2.6.4 ； jdk1.7，eclipse：Myeclipse2014；问题描述：在进行MR任务提交的时候，想获取每次提交任务的jobId，这样在提交任务后，就可以根据此JobId来获取MR任务的进度了。解决方案：1. 之前想过的一种方式是：直接获取所有完成的JobID 列表，然后对其进行排序，取其最大的，接着使用最大的jobId来构造下一个jobId；但是这样会有问题，参考：http://blog.csdn.net/fansy1990/article/details/17426945 ；问题是当集群是第一次启动的时候，这个时候是没有已经完成JobId的列表的，所以想到了使用获取集群启动时间的解决办法，也就是刚才的链接内容；2. 第二种方式是：既然提交MR任务的时候可以获取Job参数，那么是否可以通过该job参数来获取jobID呢？Job在调用job.waitForComplete后才会去集群中获取jobId ,并且此jobid在每次调用的时候都会递增1，而不管任务时候完成，即如果在jobId获取后的地方加个断点：那么，后面直接关闭调试程序，下次再次运行此程序，发现获取的jobID是跳跃的，如下：并且，中间的jobid的任务没有任何信息；那么在Job初始化jobId后，如何获取这个JobId呢？ 采用静态类：如下，定义静态类：package ssh.getj ...继续阅读 (130)

1. 软件版本 & 部署：maven：3.3.9，jdk：1.7 ，Struts2：2.3.24.1，Hibernate：4.3.6，Spring：4.2.5，MySQL：5.1.34，Junit：4，Myeclipse：2014；Hadoop2.6.4，HBase1.1.2源码下载：https://github.com/fansy1990/ssh_v3/releases部署参考：http://blog.csdn.net/fansy1990/article/details/513565832. 系统功能及核心实现2.1系统菜单HBase表管理系统主要是对表以及表数据的相关操作；2.2 表管理直接打开Table管理界面，即可看到所有表的简要信息，包括数据库（namspace）、表名、简单表描述等；这个查询的信息直接基于Admin的listTableNames方法，具体调用如下：/** * 获取所有表 * * @return * @throws IOException */ public List<HBaseTable> getTables() throws IOException { List<HBaseTable> list = new ArrayList<>(); Admin admin = Hadoop ...继续阅读 (74)

版本：HBase：1.1.2；Hadoop2.6.0；Eclipse：Mars.1 Release (4.5.1)；应用场景：HBase中有一个表，里面有一条记录，如下：现在需要根据value的值，比如当其为“true”的时候进行更新操作（也就是插入操作，表设置Versions为100），更新为false；问题描述：1） 当只有一个线程来操作的时候，可以直接取得值，然后根据值来判断即可进行插入；2）如果有多个线程的话（比如10个线程），那么1）的方法就不行了，会直接插入10条记录（因为有多个版本，所以会查到11条记录）；3）如果使用rowlock的话，可以解决这个问题，在进行put的时候，去获取rowlock，如果获取不了（其他线程已经先获得了rowlock），那么就不插入；4）但是，rowlock在hbase之前的版本是有的，但是后面的版本就没有了（性能影响，所以hbase把client的rowlock去掉了）；那么，怎么办？参考：http://www.ngdata.com/hbase-row-locks/ 使用HTable.checkAndPut() 即可解决这个问题；测试代码：main:package demo; import java.io.IOException; import java.text.SimpleDateFormat; import java.u ...继续阅读 (79)

1. 软件版本 &部署：maven：3.3.9，jdk：1.7 ，Struts2：2.3.24.1，Hibernate：4.3.6，Spring：4.2.5，MySql：5.1.34，Junit：4，Myeclipse：2014；Hadoop2.6.4源码下载地址： https://github.com/fansy1990/ssh_v3/releases项目部署：1） 修改src/main/resource 下的jdbc.properties 中对应的数据库配置，为本地配置；并在hdfsuser中添加两条记录：2） 修改src/main/resource 下的hadoop.properties 为本地机器配置；其中 ：hdfs.ssh.client.host=192.168.0.80 、hdfs.ssh.client.port=22 配置为何fs.defaultFS同样的ip即可，端口是指Linux远程连接的端口，一般默认是22；3） 需要把maven的依赖加入到项目部署的web-info/lib下面：4） 查看项目部署路径：5）把项目直接deploy到tomcat中，浏览器直接访问http://localhost:8080/v3即可；2. 系统功能界面&核心代码实现：项目使用Maven构建Hadoop相关依赖以及ssh（Linux远程连接）依赖，其pom.xml如 ...继续阅读 (154)

软件：maven：3.3.9，jdk：1.7 ，Struts2：2.3.24.1，Hibernate：4.3.6，Spring：4.2.5，mysql：5.1.34，Junit：4，Myeclipse：2014；源码下载：https://github.com/fansy1990/ssh_v3 1. 构建Maven工程1.1 Maven 设置：选择Maven的本地路径：Window -》 Preference -> Maven4Myeclipse修改setting.xml(视情况修改，先可以不修改，如果下载jar包下载有问题时，再改)<mirror> <id>nexus-osc</id> <mirrorOf>*</mirrorOf> <name>Nexus osc</name> <url>http://maven.oschina.net/content/groups/public/</url> </mirror>设置为开源中国的资源库，这样下载快1.2 JDK设置： 新添加jdk，同时添加 Default VM Arguments: -Dmaven.m ...继续阅读 (183)

软件版本：hadoop2.2，JDK1.7，Intellij idea140. 配置Configuration如果需要使用java程序来获得某个集群的NameNode或DataNode的相关信息，那么Configuration需要如下配置：/** * 获得配置的Configuration * * @return */ public static Configuration getConf() { if (conf == null) { conf = new Configuration(); conf.setBoolean("mapreduce.app-submission.cross-platform", true);// 配置使用跨平台提交任务 conf.set("fs.defaultFS", "hdfs://" + namenode + ":8020");// 指定namenode conf.set("mapreduce.framework.name", "yarn"); // 指定使用yarn框架 conf.set("yarn.resourcemanager.address", res ...继续阅读 (173)

软件版本：hadoop2.2 ，eclipse4.5 ，jdk1.7问题描述：在进行Java程序调用Hadoop集群时，使用下面的代码时，运行会给出如题所示提示job.setJarByClass(SampleJob.class);可是明明是设置了JarByClass为什么提示没有设置呢？预备知识：1. java调用Hadoop的时候，直接配置Configuration即可直接调用hadoop，运行job，如下：conf.setBoolean("mapreduce.app-submission.cross-platform", true);// 配置使用跨平台提交任务 conf.set("fs.defaultFS", "hdfs://"+namenode+":8020");// 指定namenode conf.set("mapreduce.framework.name", "yarn"); // 指定使用yarn框架 conf.set("yarn.resourcemanager.address", resourcenode+":8032"); // 指定resourcemanager conf.set( ...继续阅读 (76)

环境：hadoop2.2、JDK1.7集群：node51: namenode/datanode/nodemanager/     node52: secondarynamenode/datanode/nodemanager/ historyserver      node53: resourcemanager/datanode/nodemanager/sqoop       问题描述：在配置好hadoop集群后，使用命令start-all.sh （或 start-dfs.sh,start-yarn.sh）启动集群时，发现node53上出现如下的错误：java.net.BindException: Port in use: node53:8088 at org.apache.hadoop.http.HttpServer.openListener(HttpServer.java:742) at org.apache.hadoop.http.HttpServer.start(HttpServer.java:686) at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:257) at org.apac ...继续阅读 (264)

软件版本：Sqoop：1.99.4；JDK：1.7；Hadoop2.2；环境：1. Hadoop集群：node12:NameNode、ResourceManager、JobHistoryServer、DataNode、NodeManager； 1.5G内存+10G硬盘+1核node13:SecondaryNameNode、DataNode、NodeManager；1.5G内存+10G硬盘+1核2. Sqoop server：Sqoop server部署在node13上；3. intellij idea配置下载sqoop1.99.4的压缩包，解压；（1）找到sqoop-1.99.4-bin-hadoop200\server\webapps\sqoop.war，接着，解压sqoop.war文件，找到：sqoop-1.99.4-bin-hadoop200\server\webapps\sqoop\WEB-INF\lib目录，拷贝下面的lib包到工程build path（非运行必须）；（2）找到目录sqoop-1.99.4-bin-hadoop200\shell\lib ，拷贝下面的lib包到工程的build path（运行必须）Sqoop简单概念：1. Sqoop connector：Sqoop连接器，sqoop server启动后，使用客户端输入命令：show connector，可以 ...继续阅读 (191)

版本：flex sdk：3.2，jdk：1.7；intellij idea14； flex builder3；问题说明：在使用actionscript的remoteObject调用java的重载方法时，是否可以调用？是否调用的是重载的方法？实验：1. java后台代码：public String test1(int info){ System.out.println("int:"+info); return "int:"+info; } public String test1(float info){ System.out.println("float:"+info); return "float:"+info; } public String test1(double info){ System.out.println("double:"+info); return "double:"+info; } public String test1(long info){ System.out.print ...继续阅读 (71)

软件版本：Oozie4.2.0，Hadoop2.6.0，Spark1.4.1，Hive0.14，Pig0.15.0，Maven3.2，JDK1.7，zookeeper3.4.6，HBase1.1.2，MySQL5.6集群部署：node1~4.centos.com     node1~4      192.168.0.31~34          1G*4 内存    1核*4 虚拟机node1:NameNode 、ResourceManager；node2：SecondaryNameNode、Master、HMaster、HistoryServer、JobHistoryServernode3：oozie-server（tomcat）、DataNode、NodeManager、HRegionServer、Worker、QuorumPeerMainnode4：DataNode、NodeManager、HRegionServer、Worker、Pig client、Hive Client、HiveServer2、QuorumPeerMain、mysql1. 编译Oozie4.2.0此篇参考 http://oozie.apache.org/docs/4.2.0/ ...继续阅读 (272)

如题所示，出现提示，这个是画图相关的错误：如何解决？1. 查看sdk下面的文件：2. 找其他人的sdk，或flex自带的sdk，对照下：3. 把其中没有的文件拷贝过去如下：然后在clean下工程，没有报错。分享，成长，快乐脚踏实地，专注转载请注明blog地址：http://blog.csdn.net/fansy1990 ...继续阅读 (79)

开发环境：Intellij IDEA14 、Maven3.2、JDK1.7、Hadoop2.6 、mahout0.10源码下载及运行参考：https://github.com/fansy1990/randomforest_classify 设计思路：Mahout 随机森林算法（Random Forest）利用建立好的模型（BuildForest的输出结果）以及描述文件（Describe的输出结果），来对没有标签的数据进行分类。受TestForest中的CMapper的启发，其主要代码如下：String line = value.toString(); if (!line.isEmpty()) { Instance instance = converter.convert(line); double prediction = forest.classify(dataset, rng, instance); lkey.set(dataset.getLabel(instance)); lvalue.set(Double.toString(prediction)); context.write(lkey, lvalue); }可以看到一行数据value，被赋值到line，然后通 ...继续阅读 (197)

软件版本：hive1.2.1 ，eclipse4.5，maven3.2 ，JDK1.7软件准备：hive:环境准备：（1）. 安装好的hadoop集群（伪分布式亦可）；（2） linux 下maven环境；（这里需要说下，maven编译hive，在windows下是不通的，因为里面需要bash的支持，所以直接使用linux编译hive就好）0. 编译前，建议把maven的local_reposity 配置下，同时配置源如下（开源中国的maven源，相对国外的源较快）：<mirror> <id>nexus-osc</id> <mirrorOf>central</mirrorOf> <name>Nexus osc</name> <url>http://maven.oschina.net/content/groups/public/</url> </mirror> <mirror> <id>nexus-osc-thirdparty</id> <mirrorOf>thirdparty</mirrorOf> ...继续阅读 (395)

软件环境：操作系统CentOS6.6 。应用场景：使用VMware安装虚拟机，使用最小化模式安装，最后是终端模式。这种方式消耗资源较小，一般使用这种方式，不过后面如果需要安装eclipse等工具时，需要具有桌面环境。此教程基于此应用环境。1. 挂载安装光盘如果使用虚拟机，那么可以勾选下面的图中的选项然后在虚拟机的终端使用命令：mount /dev/cdrom /mnt ，将光盘挂载在/mnt目录下。当然如果有iso文件的话，可以使用命令：mount -o loop centos.iso /mnt 进行挂载；2. 配置yum源这里使用本地yum源的方式，删除/etc/yum.repo.s/里面所有的文件，并新建centos-media.repo文件，内容如下：[c6-media] name=CentOS-$releasever - Media baseurl=file:///mnt gpgcheck=0 enabled=1接着使用命令：yum clean all 即可更新配置的yum源。当然使用http的yum源也可以，不过速度会比较慢。如果使用手动配置的http源，则还需要配置group功能，才能在后面使用yum group*的命令。3. 安装桌面环境a. 安装x window, 使用命令：yum groupinstall "X Window System" - ...继续阅读 (65)

系统、软件版本：windows7 64bit，intellij IDEA14.1.4 ；在使用Intellij IDEA的时候出现的问题，一次重启后，编译工程就会出现如题的错误：Error:Abnormal build process termination: Build process started. Classpath: /D:/Program Files (x86)/JetBrains/IntelliJ IDEA 14.1.4/lib/jps-launcher.jar;D:/Program Files/Java/jdk1.7.0_25/lib/tools.jar;/D:/Program Files (x86)/JetBrains/IntelliJ IDEA 14.1.4/lib/optimizedFileManager.jar;D:/Program Files (x86)/JetBrains/IntelliJ IDEA 14.1.4/lib/ecj-4.4.jar Error connecting to 127.0.0.1:29518; reason: failed to create a child event loop java.lang.IllegalStateException: failed to create a child event loop at io ...继续阅读 (527)

相关软件版本Spark1.4.1 ，Hadoop2.6，Scala2.10.5，intelliJ IDEA2014，JDK1.8，Tomcat7机器及服务：windows7 ：包含JDK1.8，IntelliJ IDEA2014，Tomcat7（在IDEA中直接配置Tomcat, 然后启动工程 ）；centos6.6虚拟机：Hadoop伪分布式集群，JDK1.8（Spark直接调用hadoop集群，使用Spark on YARN的方式）；本篇接上篇Java Web提交任务到Spark；问题描述：部署Tomcat，运行java web程序调用Spark，执行Scala开发的Spark程序。并且提交任务到Yarn集群，使用yarn-client（或yarn-cluster）的模式，即Spark on YARN的模式。部署过程以及遇到问题及解决方法：1. 直接使用简单的servlet程序运行，同时把scala开发的算法jar包以及spark-assembly-1.4.1-hadoop2.6.0.jar包拷贝到WEB-INF/lib目录下面，启动Tomcat。2. 启动Tomcat时，由于spark-assembly-1.4.1-hadoop2.6.0.jar中含有javax.servlet包和tomcat的servlet-api.jar冲突。日志如下：validateJarFile( ...继续阅读 (494)

操作系统：Centos6.6，JDK：1.7 ，HDP：2.2 启动HDP平台时，出现如题的错误，解决方法：在/etc/profile 中加入：export _JAVA_OPTIONS="-Xms512M -Xmx512M"（当然，上面的512可以根据实际情况进行调整）出现的原因是因为部署的HDP的服务太多了，资源（内存）不够用导致的。 ...继续阅读 (61)

相关软件版本：Spark1.4.1 ，Hadoop2.6，Scala2.10.5 , MyEclipse2014，intelliJ IDEA14，JDK1.8，Tomcat7机器：windows7 （包含JDK1.8，MyEclipse2014，IntelliJ IDEA14，TOmcat7）；centos6.6虚拟机（Hadoop伪分布式集群，Spark standAlone集群，JDK1.8）；centos7虚拟机（Tomcat，JDK1.8）；1. 场景：1. windows简单java程序调用Spark，执行Scala开发的Spark程序，这里包含两种模式：    1> 提交任务到Spark集群，使用standAlone模式执行；    2> 提交任务到Yarn集群，使用yarn-client的模式；2. windows 开发java web程序调用Spark，执行Scala开发的Spark程序，同样包含两种模式，参考1.3. linux运行java web程序调用Spark，执行Scala开发的Spark程序，包含两种模式，参考1.2. 实现：1. 简单Scala程序，该程序的功能是读取HDFS中的log日志文件，过滤log文件中的WARN和ERROR的记录，最后把过滤后的记录写入到HDFS中，代码如下：import o ...继续阅读 (948)