IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    hbase的行数统计

    notsobad发表于 2012-10-08 21:10:00
    love 0

    最近在用hbase做图片存储,大约3000万张图片,每张60k以内。 在hbase shell里

    count 'images'
    

    这个速度会非常非常慢。

    查了下,有个map reduce的rowcounter,尝试了半天,要用有hdfs写权限的用户执行,如我的系统上要用hdfs这个用户。

    sudo crontab -u hdfs -e
    
    10 * * * * (date;hbase org.apache.hadoop.hbase.mapreduce.Driver rowcounter screen_shots) >>/tmp/count_rows.txt 2>&1
    

    上面在crontab里增加了个每小时执行一次rowcounter,将结果追加到/tmp/count_rows.txt

    25万数据,约需要200s统计。



沪ICP备19023445号-2号
友情链接