IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    [原]大数据分析实验环境搭建

    book_mmicky发表于 2014-05-13 15:22:38
    love 0
    最近准备了一些数据,包括文本数据、数据库数据,有结构化的数据和非结构化的数据,开始逐步展开数据分析之旅途。当然,首先是大数据环境的搭建,下面略加介绍。

    1:软件版本
    hadoop2.2.0
    zooKeeper3.4.5 + HBase0.96.0
    hive0.11.0 + pig0.11.1 +mahout0.6
    sqoop1.4.4
    R + Rstudio
    MySQL5.6.12
    oracle12c
    eclipse

    2:实验环境
    *********************************************************************************
    hadoop集群(virtualBox虚拟机,CentOS6.4)
    hadoop1 192.168.100.171(hadoop master、secondaryname、zookeeper、hbase HMaster)
    hadoop2 192.168.100.172(zookeeper、hbase HRegion、Hive Shell)
    hadoop3 192.168.100.173(hadoop slave、zookeeper、hbase HRegion)
    hadoop4 192.168.100.174(hadoop slave、zookeeper、hbase HRegion)
    hadoop5 192.168.100.175(hadoop slave、zookeeper、hbase HRegion)
    dataserver 192.168.100.141(Hive metastore、MySQL Server、Oracle、Pig、Hive、mahout、sqoop)
    *********************************************************************************

    *********************************************************************************
    客户端(物理机,Ubuntu13.04 配置:神舟K590S-i7 D2 16G内存)
    wyy 192.168.100.111 (eclipse、pig、mahout、R、Rstudio)
    *********************************************************************************

    3:hadoop2.2.0搭建
    编译:hadoop2.2.0源码编译(CentOS6.4)
    安装:hadoop2.2.0测试环境搭建
    大数据分析实验环境搭建 - mmicky - mmicky 的博客
     
    4:zooKeeper3.4.5 + HBase0.96.0搭建
    zookeeper3.4.5安装笔记
    HBase0.96.0 for Hadoop2.2.0编译
    Hbase0.96.0 +hadoop2.2.0安装
    大数据分析实验环境搭建 - mmicky - mmicky 的博客

    5:hive0.11.0 + pig0.11.1 +mahout0.6搭建
    Hive 0.11.0 远程模式搭建
    pig安装和配置
    Mahout初体验
    大数据分析实验环境搭建 - mmicky - mmicky 的博客
     
    大数据分析实验环境搭建 - mmicky - mmicky 的博客
     
    大数据分析实验环境搭建 - mmicky - mmicky 的博客
     
    6:sqoop1.4.4搭建
    sqoop1.4.4 for mysql
    大数据分析实验环境搭建 - mmicky - mmicky 的博客
     
    7:R + Rstudio
    RHadoop搭建(HDFS+MapReduce)
    大数据分析实验环境搭建 - mmicky - mmicky 的博客
     
    大数据分析实验环境搭建 - mmicky - mmicky 的博客
     
    8:MySQL5.6.12搭建
    MySQL5.6.12 for Linux安装
    大数据分析实验环境搭建 - mmicky - mmicky 的博客
     
    9:oracle12cR1搭建
    oracle12c的安装和oralce11g的安装相差不大,虽然在使用上有很大差距,但安装可以参见:
    ASM安装Oracle11R2系列(一:UDEV单盘配置)
    为了方便起见,采用了文件方式安装,而非ASM方式安装。
    大数据分析实验环境搭建 - mmicky - mmicky 的博客
     
    10:eclipse
    eclipse开发hadooop2.2.0程序
    使用Eclipse开发HBase应用程序
    大数据分析实验环境搭建 - mmicky - mmicky 的博客


沪ICP备19023445号-2号
友情链接