flink 1系统架构

系统的架构是整个系统的全貌，我们要了解的是系统包含的各个模块以及每个模块的指责和各个部分的相互关系。flink的架构如下图所示：

@H_404_4@
如图所示：flink系统包含三部分：client， jobmanager，taskmanager。@H_404_4@

1. client
   程序中编写使用的每个算子（map, flatmap等）都会解析为operate，Flink采用了类似责任链模式的方式对operator进行组合，client根据operate配置的责任链模式将生成程序的拓扑结构图StreamGraph，并转换为JobGraph，也就是task list，然后将JobGraph提交到jobmanager，并返回。@H_404_4@

2. jobmanager
   主要负责调度 Job 并协调 Task 做 checkpoint。从 Client 处接收到 Job 和 JAR 包等资源后，会生成优化后的执行计划，并以 Task 的单元调度到各个 TaskManager 去执行。

3. Taskmanager
   在启动的时候就设置好了槽位数slot， 每个 slot 能启动一个 Task，Task 为线程。从 JobManager 处接收需要部署的 Task，部署启动后，与自己的上游建立 Netty 连接，接收数据并处理。@H_404_4@