IT博客汇
首页
精华
技术
设计
资讯
扯淡
权利声明
登录
注册
Hadoop MapReduce 性能优化
编程小梦
发表于
2015-11-29 09:34:27
love
0
影响 MapReduce 的主要因素 硬件因素 :CPU 磁盘 I/O, 网络带宽, 内存 底层存储系统 输入数据,shuffle 数据 以及输出数据的大小 作业算法: map, reduce, partition, combine, compress 潜在影响因素 I/O 模式: 直接I/O(本地) 流式I/O(TCP,JDBC) 输入数据解析 输入数据存储 性能调优 COU利用率 内存占用 磁 […]