一：Spark特点
- 运行速度快：Spark使用先进的有向无环图（DAG）执行引擎，以支持循环数据流与内存计算。
- 容易使用：Spark支持Scala, Java, Python, R语言进行编程。
- 通用性：Spark提供强大的而完整的技术栈。
- 运行模式多样：Spark可以运行于独立的集群模式中，或者运行于Hadoop中。
二：Spark Core
Spark Core 包含Spark最基础最核心的功能，如内存计算，任务调度，部署模式，故障恢复，存储管理，主要面向批处理数据。Spark Core建立在同一的抽象RDD之上，使其可以以基本一致的方式来应对不同的大数据处理场景。Spark Core通常被简称为Spark.
三：Spark基本概念
- RDD: 弹性分布式数据集，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。
- DAG：有向无环图，反映RDD之间的依赖关系
- Executor：是运行在工作节点（Worker Node）上的一个进程，负责运行任务，并为应用程序存储数据。
- 应用Application:用户编写的spark应用程序。
- 任务（Task）:是运行在Executor上的工作单元。
- 作业（Job）:一个作业包含多个RDD及作用于相应RDD上的各种操作。
- 阶段（Stage）:是作业的基本调度单位，一个作业会分为多组任务，每组任务被称为阶段。
四.Spark架构设计
如图所示：
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
