IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    Spark技术内幕:Shuffle Pluggable框架详解,你怎么开发自己的Shuffle Service?

    anzhsoft2008发表于 2015-01-08 07:58:40
    love 0
    通过Hash Based Shuffle和Sort Based Shuffle的源码,可以得出使用Spark Pluggable框架开发一个第三方的Shuffle Service是比较容易的;这个容易是指功能实现方面。但是这个实现必须要考虑超大规模数据场景下的性能问题,资源消耗问题。


沪ICP备19023445号-2号
友情链接