软件版本：hadoop2.2 ，eclipse4.5 ，jdk1.7

问题描述：在进行Java程序调用Hadoop集群时，使用下面的代码时，运行会给出如题所示提示

job.setJarByClass(SampleJob.class);

可是明明是设置了JarByClass为什么提示没有设置呢？

预备知识：

1. java调用Hadoop的时候，直接配置Configuration即可直接调用hadoop，运行job，如下：

 conf.setBoolean("mapreduce.app-submission.cross-platform", true);// 配置使用跨平台提交任务
			conf.set("fs.defaultFS", "hdfs://"+namenode+":8020");// 指定namenode
			conf.set("mapreduce.framework.name", "yarn"); // 指定使用yarn框架
			conf.set("yarn.resourcemanager.address", resourcenode+":8032"); // 指定resourcemanager
			conf.set("yarn.resourcemanager.scheduler.address", schedulernode+":8030");// 指定资源分配器
			conf.set("mapreduce.jobhistory.address", jobhistorynode+":10020");// 指定historyserver

这时，还需要做个操作即把相关的class文件打包，然后放到hadoop集群的lib目录

然后再次调用即可运行，虽然这时还是有这个提示；

解决方法：

使用代码：

job.setJar("C:\\Users\\fansy\\Desktop\\jars\\kmeans1.jar");

其中kmeans1.jar是把相关jar打包后的jar文件，这样就可以不用拷贝到hadoop集群的lib目录了；

后台分析：

跟踪代码，发现，如果设置了setJar，后台代码其实是把这个文件拷贝到job运行的tmp临时目录了，如下：

在运行完377行代码后，查看HDFS文件：

最后附上两个设置运行对比：

setJarByClass:

setJar:

分享，成长，快乐

脚踏实地，专注

转载请注明blog地址：http://blog.csdn.net/fansy1990