IT博客汇
首页
精华
技术
设计
资讯
扯淡
权利声明
登录
注册
Spark 延迟30秒
fansy1990
发表于
2018-12-26 18:09:33
love
0
Spark延迟30秒Spark延迟30秒1. 环境/版本/测试代码1.1 使用软件版本:1.2 集群部署1.3 测试代码2. 时间线3. 问题重述及分析 Spark延迟30秒 问题引出:问题来源于一次小的测试,在进行一个常规的读取Hive数据,并使用Spakr MLlib中的Describe进行基本的表统计时,发现Executor的任务发起到任务实际执行相差30秒左右,故此引出本篇博客。 1. 环...