IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    [原]storm0.9.0.1升级安装

    liuzhoulong发表于 2014-03-12 20:48:37
    love 0

    1,下载0.9.0.1 http://storm.incubator.apache.org/downloads.html

    2,安装就jdk,python,zookeeper 在服务器 "192.168.1.1" "192.168.1.1""192.168.1.2"上

    3,解压,修改conf下的storm.yaml


    storm.zookeeper.servers:
         - "192.168.1.1"
         - "192.168.1.2"
         - "192.168.1.3"
    
    
     nimbus.host: "192.168.1.10"
     storm.local.dir: "/data/storm/work"
     supervisor.slots.ports:
        - 6700
        - 6701
        - 6702
        - 6703
     storm.messaging.transport: "backtype.storm.messaging.netty.Context"  
     storm.messaging.netty.buffer_size: 209715200  
     storm.messaging.netty.max_retries: 100  
     storm.messaging.netty.max_wait_ms: 1000  
     storm.messaging.netty.min_wait_ms: 100
     
     logviewer.port: 80


    4,删除storm/lib下的log4j-over-slf4j,因为0.9用的logback,不删除top可能起不来,并报类似如下错误

    2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn't started
    2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn't started

    或者如下错误

    2014-03-12 17:48:56 b.s.d.worker [ERROR] Error on initialization of server mk-worker
    java.io.IOException: No such file or directory

    把这些错误日志前面的执行语句拿出来看一下就明白了

    为了支持logviewer还要给storm/lib下手动copy一个log4j的jar报,这个自己找找吧,我是把0.8.1下面的log4j 拷贝过来的

    不得不说,storm的升级对日志的支持很乱


    4,分发配置好的storm,到192.168.1.10,192.168.1.12,192.168.1.13,并在三台服务器上创建/data/storm/work给足够的写权限

    5,启动

    192.168.1.10

    #启动storm nimbus进程
    nohup storm nimbus &
    #启动storm ui监控界面进程
    nohup storm ui &

    192.168.1.12,192.168.1.13

    #启动storm supervisor进程
    nohup storm supervisor &
    #启动storm 日志监控进程。启动该进程,可以在storm ui界面上看各个supervisor节点上日志
    nohup storm logviewer &

    6,show time

    http://192.168.1.10:8080/

    storm jar **.jar ATopology 跑一个top看看效果

    下面可以看具体work的日志

    http://192.168.1.12/log?file=worker-6701.log

    7,资源分配不爽

    storm rebalance ATopology -n 10 修改个ATopology 的workers玩玩

    storm rebalance ATopology -e stepblot=74 修改个 ATopology 的stepblot的executors数量玩玩

    安装到此为止!






沪ICP备19023445号-2号
友情链接