微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Flink核心抽象三数据转换

Transformation在Flink中被称为数据转换,Transformation面向Flink内核,DataStream面向开发者。

Transformation有两大类,物理Transformation和虚拟Transformation

Transformation是顶层的抽象,在所有物理的Transformation都是继承PhysicalTransformation

其他的类型的Transformation均为虚拟Transformation。

 Transformation包含Flink运行时的重要参数

1、name

转换器的名字,主要用于Web UI的可视化

2、uid

用户指定的uid,在job重启时再次分配和之前相同的uid,可以持久保存状态

3、bufferTimeout

buffer超时时间

4、parallelism

并行度

5、id

属性uid无关,生成方式基于静态累加器

public Transformation(String name, Type@R_795_4045@ion<T> outputType, int parallelism) {
   this.id = getNewNodeId

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐