IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    [原]Maven构建Hadoop Web项目

    fansy1990发表于 2015-06-09 22:37:10
    love 0

    使用Maven构建Hadoop Web项目,此项目是一个样例Demo,方便开发专注于后台以及Hadoop开发的人员在其上构建自己定制的项目。该Demo提供了两个样例:

    1. 查看HDFS文件夹内容及其子文件/夹;
    2. 运行WordCount MR任务;

      项目下载地址:Maven构建Hadoop Web项目

    系统软件版本

    • Spring4.1.3
    • Hibernate4.3.1
    • Struts2.3.1
    • hadoop2.6
    • pure0.6
    • jdk1.7
    • tomcat7
    • myeclipse10.0
    • jQuery1.11.3
    • Maven3.2.1

      项目部署

      1. 下载git项目,导入本地;
      2. 修改 src/main/resources/db.properties 文件,添加数据库的信息(这个信息暂时没有使用,只供连接);
      3. 修改util.properties文件云平台对应的信息(如果是windows系统提交任务,则使用默认配置即可,否则修改第一个参数为false);
      4. 使用Tomcat部署即可,访问的url: http://localhost:8080/ssh/index.html;

    示例

    1. 首页
      首页
    2. 查看文件
      输入文件地址,点击确定即可查看文件信息:
      查看文件夹信息
    3. 运行MR
      输入输入、输出文件的地址,点击确定,即可提交任务到hadoop集群,提交任务后处于阻塞状态,成功/失败运行后,会给出提示,如下图:
      提交任务后图片
      任务成功运行后图片

    分享,成长,快乐

    脚踏实地,专注

    转载请注明blog地址:http://blog.csdn.net/fansy1990



沪ICP备19023445号-2号
友情链接