http://spark.apache.org/docs/latest/cluster-overview.html
Application
Driver program+ Executors 组成
Driver program
process 一个进程 执行main() 方法 并创建sparkContext
Executor
是一个进程 process
run tasks
cache data
Cluster manager
外部资源管理器，根据运行的模式 yarn standalone 等管理运行需要的 外部资源
Deploy mode
区分 driver 运行的位置
cluster 运行在集群内
client 运行在集群外部
Worker node
工作节点
ask
excutor 中的工作单元 是线程级别
JOB
碰到action 算子 触发一个job
Stage
一个job 可能会被拆分成多个stage
按宽依赖进行拆分多个stage
lication jar
用户编写的jar
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
