1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。
2.请阐述Spark的几个主要概念及相互关系：
RDD,DAG,Application, job,stage,task,Master, worker, driver,executor,Claster Manager
RDD任务划分原理
窄依赖不会shuffle，所有的RDD分区转换可以并行进行，所以各种task可以在同一个stage中进行；
宽依赖由于会产生shuffle，上一个stage没完，数据不会进行shuffle到下一个stage，下一个stage只能等待，所以宽依赖是划分阶段的依据。
RDD任务切分级别为：Application、Job、Stage、Task
1.Task(任务)：RDD中的一个分区对应一个task，task是单个分区上最小的处理流程单元。将Stage划分的结果发送到不同的Executor中执行。
2.TaskSet(任务集)：一组关联的，但相互之间没有Shuffle依赖关系的Task集合。
3.Stage(调度阶段)：一个taskSet对应的调度阶段，每个job会根据RDD的宽依赖关系被切分很多Stage，每个stage都包含 一个TaskSet。
4.job(作业)：由Action算子触发生成的由一个或者多个stage组成的计算作业（至少有一个ResultStage）。
5.application：初始化一个SparkContext即生成一个Application，用户编写的spark应用程序，由一个或者多个job组成，提交到spark之后，spark为application分派资源，将程序转换并执行。
6.DAGScheduler：根据job构建基于stage的DAG，并提交stage给TaskScheduler。
ps：shuffle之后会产生新的Stage，重新分区
在基于standalone的Spark集群，Cluster manger就是Master。
Master负责分配资源，在集群启动时，Driver向Master申请资源，Worker负责监控自己节点的内存和cpu等状况，并向Master汇报。
从资源方面，可以分为两个层面：
1）资源的管理和分配
资源的管理和分配，由Master和Worker来完成。Master给Worker分配资源，
Master时刻知道Worker的资源状况。
客户端向服务器提交作业，实际是提交给Master。
2）资源的使用
资源的使用，由Driver和Executor。程序运行时候，向Master请求资源。
一个Worker默认情况下分配一个Executor，配置时根据需要也可以配置多个Executor。一个节点，如果配置了多个Executor，那么就会涉及到性能调优
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
