IT博客汇
首页
精华
技术
设计
资讯
扯淡
权利声明
登录
注册
Spark技术内幕:Shuffle的性能调优
anzhsoft2008
发表于
2015-01-18 19:09:28
love
0
通过上面的架构和源码实现的分析,不难得出Shuffle是Spark Core比较复杂的模块的结论。它也是非常影响性能的操作之一。因此,在这里整理了会影响Shuffle性能的各项配置。尽管大部分的配置项在前文已经解释过它的含义,由于这些参数的确是非常重要,这里算是做一个详细的总结。1.1.1 spark.shuffle.manager前文也多次提到过,Spark1.2.0官方支持两种方式的Shuf