IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    [原]RHadoop搭建(HBase)

    book_mmicky发表于 2014-05-13 15:22:41
    love 0
    *实验环境:
    **************************************************************************************
    hadoop集群(virtualBox虚拟机,CentOS6.4)
    hadoop1 192.168.100.171(hadoop master、secondaryname、zookeeper、hbase HMaster)
    hadoop2 192.168.100.172(zookeeper、hbase HRegion、Hive Shell)
    hadoop3 192.168.100.173(hadoop slave、zookeeper、hbase HRegion)
    hadoop4 192.168.100.174(hadoop slave、zookeeper、hbase HRegion)
    hadoop5 192.168.100.175(hadoop slave、zookeeper、hbase HRegion)
    dataserver 192.168.100.141(Hive metastore、MySQL Server、Oracle)
    相关的安装文档:hadoop2.2.0测试环境搭建     Hbase0.96.0 +hadoop2.2.0安装     RHadoop搭建(HDFS+MapReduce)
    **************************************************************************************
    本次测试在dataserver进行

    1:安装thrift0.9.1
    [root@dataserver app]# sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel
    [root@dataserver app]# tar zxf /mnt/mydisk/soft/program/thrift-0.9.1.tar.gz
    [root@dataserver app]# cd thrift-0.9.1
    [root@dataserver thrift-0.9.1]# ./configure
    **************************************************************************************
    Python开发HBase程序 - mmicky - mmicky 的博客
     注意安装thrift安装上要使用Python库,如果要使用其他语言就安装上相应的语言库
    **************************************************************************************
    [root@dataserver thrift-0.9.1]# make
    **************************************************************************************
    Python开发HBase程序 - mmicky - mmicky 的博客
     注意如果要编译C++库的话,会出现上面的错误,原因是编译文件路径有问题,可以将已经编译的test/cpp/*.o复制到test/cpp/.libs后,继续编译就可以了。当然不怕麻烦的话,可以修改一下编译文件。
    [root@dataserver thrift-0.9.1] cd test/cpp
    [root@dataserver cpp]# cp *.o .libs/
    **************************************************************************************
    [root@dataserver thrift-0.9.1]# make install
    [root@dataserver thrift-0.9.1]# thrift --version

    2:安装rhase
    [root@dataserver /]# export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig/
    [root@dataserver /]# pkg-config --cflags thrift
    **************************************************************************************
    正确的返回结果是:
    -I/usr/local/include/thrift
    如果是:
    -I/usr/local/include
    则:
    [root@dataserver /]# vi /usr/local/lib/pkgconfig/thrift.pc
    Cflags: -I${includedir}/thrift
    **************************************************************************************
    [root@dataserver lib]# cp /usr/local/lib/libthrift-0.9.1.so /usr/lib/
    [root@dataserver lib]# /sbin/ldconfig /usr/lib/libthrift-0.9.1.so
    **************************************************************************************
    注意要将动态链接库libthrift-0.9.1.so为系统所共享,不然会出现类似unable to load shared object '/usr/lib64/R/library/rhbase/libs/rhbase.so':libthrift-0.9.1.so: cannot open shared object file的错误
    **************************************************************************************
    [root@dataserver usr]# R CMD INSTALL /mnt/mydisk/soft/R/rhbase_1.2.0.tar.gz
    RHadoop搭建(HBase) - mmicky - mmicky 的博客

    3:启动hadoop集群、zookeeper集群、HBase集群

    4:rhbase测试
    RHadoop搭建(HBase) - mmicky - mmicky 的博客
     
    花了一个晚上终于搞定,接下去可以在rstudio里方便的应用rhbase了。


沪ICP备19023445号-2号
友情链接