微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Flink入门

在这里插入图片描述

flink简介
https://blog.csdn.net/qq_35423154/article/details/113759891

1. environment

flink任务在提交计算时,首先与flink框架建立联系,获取了环境信息才能将task调度到不同的任务管理者那里执行。

2.source

Flink框架从不同的数据源获取数据,随后框架对数据进行处理

1)从数据集合中读取数据

一般将数据临时加载入内存中,形成特殊的数据结构。作为数据源使用

2)从文件中读取数据

比较常见的是将日志文件作为数据源

3)从Kafka中读取数据

4)自定义数据源中读取

3.Transform

在Spark中,算子分为转换算子和行动算子,转换算子的作用可以通过算子方法调用一个RDD转换另外一个RDD,Flink中也存在同样的操作,可以将一个数据流转换为其他的数据流

转换过程中,数据流的类型也会发生变化,那么到底Flink支持什么样的数据类型呢,其实我们常用的数据类型,Flink都是支持的。比如:Long, String, Integer, Int, 元组,样例类,List, Map等。

4.Sink

Sink有下沉的意思,在Flink中所谓的Sink其实可以表示为将数据存储起来的意思,也可以将范围扩大,表示将处理完的数据发送到指定的存储系统的输出操作

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐