微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Spark任务执行各对象创建的时机

1.SparkContext哪一端生成的?
Driver端

2.DAG是在哪一端被构建的?
Driver端

3.RDD是在哪一端生成的?
Driver端

4.广播变量是在哪一端调用方法进行广播的?
Driver端

5.要广播的数据应该在哪一端先创建好再广播呢?
Driver端

6.调用RDD的算子(Transformation和Action)是在哪一端调用
Driver端

7.RDD在调用Transformation和Action时需要传入一个函数函数是在哪一端声明和传入的?
Driver端

6.RDD在调用Transformation和Action时需要传入函数,请问传入的函数是在哪一端执行了函数的业务逻辑?
Executor中的Task执行的

7.自定义的分区器这个类是在哪一端实例化的?
Driver端

8.分区器中的getParitition方法在哪一端调用的呢?
Executor中的Task中调用

9.Task是在哪一端生成的呢?
Driver端

10.DAG是在哪一端构建好的并被切分成一到多个State的
Driver端

11.DAG是哪个类完成的切分Stage的功能
DAGScheduler

12.DAGScheduler将切分好的Stage以什么样的形式给TaskScheduler
TaskSet

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐