IT博客汇
首页
精华
技术
设计
资讯
扯淡
权利声明
登录
注册
Spark1.0.0 history server 配置
book_mmicky
发表于
2014-06-17 22:45:49
love
0
在运行Spark应用程序的时候,driver会提供一个webUI给出应用程序的运行信息,但是该webUI随着应用程序的完成而关闭端口,也就是说,Spark应用程序运行完后,将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的,通过配置,Spark应用程序在运行完应用程序之后,将应用程序的运行信息写入指定目录,而Spark history serve