IT博客汇
首页
精华
技术
设计
资讯
扯淡
权利声明
登录
注册
Spark技术内幕:Shuffle Map Task运算结果的处理
anzhsoft2008
发表于
2015-01-12 08:02:16
love
0
Shuffle Map Task运算结果的处理这个结果的处理,分为两部分,一个是在Executor端是如何直接处理Task的结果的;还有就是Driver端,如果在接到Task运行结束的消息时,如何对Shuffle Write的结果进行处理,从而在调度下游的Task时,下游的Task可以得到其需要的数据。Executor端的处理在解析BasicShuffle Writer时,我们知道ShuffleM