IT博客汇
首页
精华
技术
设计
资讯
扯淡
权利声明
登录
注册
Spark技术内幕:Shuffle Pluggable框架详解,你怎么开发自己的Shuffle Service?
anzhsoft2008
发表于
2015-01-08 07:58:40
love
0
通过Hash Based Shuffle和Sort Based Shuffle的源码,可以得出使用Spark Pluggable框架开发一个第三方的Shuffle Service是比较容易的;这个容易是指功能实现方面。但是这个实现必须要考虑超大规模数据场景下的性能问题,资源消耗问题。