乐鱼电竞

教育行业A股IPO第一股（股票代码 003032）

全国咨询/投诉热线：400-618-4000

spark笔记之Spark运行架构

更新时间:2018年09月11日16时01分 来源:乐鱼播客 浏览次数:

　　3. Spark运行基本流程

　　Spark运行基本流程参见下面示意图：

　　1) 构建Spark Application的运行环境(启动SparkContext)，SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源;

　　2) 资源管理器分配Executor资源并启动Executor，Executor运行情况将随着心跳发送到资源管理器上;

　　3) SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task，Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。

　　4) Task在Executor上运行，运行完毕释放所有资源。

　　4. Spark运行架构特点

　　Spark运行架构特点：

　�、倜扛鯝pplication获取专属的executor进程，该进程在Application期间一直驻留，并以多线程方式运行tasks。

　　②Spark任务与资源管理器无关，只要能够获取executor进程，并能保持相互通信就可以了。

　�、厶峤籗parkContext的Client应该靠近Worker节点(运行Executor的节点)，最好是在同一个Rack里，因为Spark程序运行过程中SparkContext和Executor之间有大量的信息交换;如果想在远程集群中运行，最好使用RPC将SparkContext提交给集群，不要远离Worker运行SparkContext。

　�、躎ask采用了数据本地性和推测执行的优化机制。


作者：乐鱼播客云计算大数据培训学院

首发：http://cloud.itcast.cn

0 分享到：
和我们在线交谈！
【网站地图】【sitemap】