IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    Hadoop MapReduce 性能优化

    编程小梦发表于 2015-11-29 09:34:27
    love 0
    影响 MapReduce 的主要因素 硬件因素 :CPU 磁盘 I/O, 网络带宽, 内存 底层存储系统 输入数据,shuffle 数据 以及输出数据的大小 作业算法: map, reduce, partition, combine, compress 潜在影响因素 I/O 模式: 直接I/O(本地) 流式I/O(TCP,JDBC) 输入数据解析 输入数据存储 性能调优 COU利用率 内存占用 磁 […]


沪ICP备19023445号-2号
友情链接