Flink产生缘由

随着大数据时代的发展，海量数据和多种业务的实时处理需求激增，比如：

实时监控报警系统；
实时风控系统；
实时推荐系统等等。

传统的批处理方式和早期的流式处理框架因其自身的局限性，难以在延迟性、吞吐量、容错能力，以及使用便捷性等方面满足业务日益苛刻的要求。

在这种形势下，Flink 以其独特的天然 流式计算特性和更为先进的架构设计 ，极大地改善了以前的流式处理框架所存在的问题。

Flink定义

Apache Flink ：是一个分布式流处理器，具有直观和富有表现力的 API，可实现有状态的流处理应用程序，它以容错的方式有效地大规模运行这些应用程序，还提供了有状态的计算，支持状态管理，支持强一致性的数据语义以及支持基于Event Time的WaterMark对延迟或乱序的数据进行处理等。

Flink官方地址：https://flink.apache.org/

Flink组件栈

Flink分层的组件栈如下图所示（每一层所包含的组件都提供了特定的抽象，用来服务于上层组件）:

主要分为如下几层：

物理部署层
Runtime核心层
API&Libraries层
扩展

物理部署层

Flink 支持的部署模式：

本地：本地运行
集群：独立集群（Standalone）、Yarn管理的集群
云上：GCE/EC2
容器化部署：Kubenetes

Flink能够通过该层支持不同平台的部署，用户可以根据需要选择使用对应的部署模式。

Runtime核心层

提供了支持Flink计算的全部核心实现，为上层API层提供基础服务，该层主要负责对上层不同接口提供基础服务，也是Flink分布式计算框架的核心实现层；
支持分布式Stream作业的执行、JobGraph到ExecutionGraph的映射转换、任务调度等；
将DataSteam和DataSet转成统一的可执行的Task Operator，达到在流式引擎下同时处理批量计算和流式计算的目的。

API & Libraries层

Flink 首先支持了 Scala和 Java 的 API，Python也正在测试中；
DataStream、DataSet、Table、sql API，作为分布式数据处理框架，Flink同时提供了支撑计算和批计算的接口，两者都提供给用户丰富的数据处理高级API，例如Map、FlatMap操作等，也提供比较低级的Process Function API，用户可以直接操作状态和时间等底层数据

扩展库

Flink 还包括用于复杂事件处理的CEP，机器学习库FlinkML，图处理库Gelly等。
Table 是一种接口化的 sql 支持，也就是 API支持(DSL)，而不是文本化的sql解析和执行。

Flink 四大基石

如上图，fink有四大基石，分别为：

Checkpoint
State
Time
Window

Checkpoint

Checkpoint是Flink最重要的一个特性。

Flink基于 Chandy-Lamport 算法实现了一个分布式的一致性的快照，从而提供了一致性的语义。

Chandy-Lamport算法实际上在1985年的时候已经被提出来，但并没有被很广泛的应用，而Flink则把这个算法发扬光大了。

State

在提供了一致性的语义之后，Flink为了让用户在编程时能够更轻松、更容易地去管理状态，还提供了一套非常简单明了的State API，包括里面的有ValueState、ListState、MapState及broadcastState。

使用State API能够自动享受到这种一致性的语义。

Time

除此之外，Flink还实现了Watermark的机制，能够支持基于事件的时间（Time）的处理，能够容忍迟到/乱序的数据。

Window

另外流计算中一般在对流数据进行操作之前都会先进行开窗（Window），即：基于一个什么样的窗口上做这个计算。

Flink提供了开箱即用的各种窗口，比如滑动窗口、滚动窗口、会话窗口以及非常灵活的自定义的窗口。

Flink概述