IT博客汇
首页
精华
技术
设计
资讯
扯淡
权利声明
登录
注册
给大数据文件的每一行产生唯一的id
linger2012liu
发表于
2015-06-09 19:42:23
love
0
给大数据文件的每一行产生唯一的id 4个主要思路: 1 单线程处理 2 普通多线程 3 hive 4 Hadoop 搜到一些参考资料 《Hadoop实战》的笔记-2、Hadoop输入与输出 https://book.douban.com/annotation/17068812/ TextInputFormat:文件偏移量:整行数据 但是这个偏移量,貌似