Spark任务提交模式

首页 » Spark » Spark任务提交模式
  • 基于Standalne的两种提交模式

1、Standalne-client模式提交任务

./spark-submit --master spark://node01:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

Standalne-client模式会在客户端看到task的执行情况和结果,当在客户端提交多个application时,每个application都会启动自己的Driver,Driver与集群worker有大量的通信,会造成客户端网卡流量激增问题。( 测试)

2、Standalne-cluster模式提交任务

./spark-submit --master spark://node01:7077 --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

Standalne-cluster模式提交任务 Driver会在集群中随机选一台worker上启动,如果提交多个application,那么每个application的Driver会分散到集群的worker节点,相当于将client模式的客户端网卡流量激增问题分散到集群中。


  • 基于yarn的两种提交模式

1、yarn-client模式提交任务

./spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

yarn-client模式提交任务,Driver在客户端启动,当提交多个application,每个application的Driver都会在客户端启动,也会有网卡流量激增问题。(测试)

2、yarn-cluster模式提交任务

./spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

yarn-cluster模式提交任务,AM(Driver)随机在一台NM节点上启动,当提交多个application时,每个application的Driver会分散到集群中NM中启动,相当于将yarn-client模式的客户端网卡流量激增问题分散到集群中。

分享到:
赞(0) 打赏

评论 4

评论前必须登录!

 

  1. #1

    以后多多交流

    hello6个月前 (03-28)
  2. #2

    我也是学计算机的

    笨鸟先飞6个月前 (03-28)
  3. #3

    记住这个网站了

    笔记本6个月前 (03-28)
  4. #4

    渣渣辉6个月前 (03-29)

觉得文章有用就打赏一下弟弟吧

支付宝扫一扫打赏

微信扫一扫打赏

Vieu4.5主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。
正在播放:

作者想对您说:

累了就停下来听首歌吧

听完后会给您一个好心情

最后

等到您不容易

还希望您能多待一会儿

      00:00/00:00