一、背景目前yarn集群360个FLink实时作业，90%都是使用flink1.13.3+cdc2.1，在12月17号发现一个流任务：xxx_mysql_kafka运行无异常，但是一直不往Kafka发送最新数据二、问题排查1、根据该任务applicationid查看具体运行在那个yarn节点上堡垒机登录该节点，切换到y

1kafka中的json数据关键词：json、嵌套、复杂结构、Map、Array、Row1.FlinkSQL解析嵌套的JSON数据_JasonLee_后厂村程序员-CSDN博客-2内置json函数1.官方文档 ​​​​​​​System(Built-in)Functions|ApacheFlink2.函数使用JSON_VALUE('{"a":}','$.a')

   然后我们再来看上一步我们理解了数据流的执行,生成过程,   然后我们再来看数据流的传输以及任务链,因为如果需要知道两个任务到底是如何合并的,这里就需要知道数据流传输和任务链才行.首先我们要知道1.一个程序中,不同的任务可能有不同的并行度2.算子也就

flink写入clickhouse之分布式表写入.md简介之前基于clickhouse的官方jdbc包编写了sink，用于写入单表，见：https://www.cnblogs.com/sqhhh/p/15897275.htmlclickhouse分布式表的写入，目前有2种方法：1.对着逻辑表写入：此方法可以当作是单表，利用单表写入的sink写入数据2.对着各个节点

Flink支持使用多种部署模式来满足不同规模应用的需求，常见的有单机模式，StandaloneCluster模式，同时Flink也支持部署在其他第三方平台上，如YARN，Mesos，Docker，Kubernetes等。以下主要介绍其StandaloneCluster模式的部署。  StandaloneCluster模式是Flink自带的一种集

一、概念理解1、State状态Flink实时计算程序为了保证计算过程中，出现异常可以容错，就要将中间的计算结果数据存储起来，这些中间数据就叫做State。2、StateBackEnd用来保存State的存储后端就叫做StateBackEnd，默认是保存在JobManager的内存中，也可以保存的本地文件系统或HDFS这

导读：本文主要带来streamx在我司中实时任务的应用，我们的部署方式是onyarn的模式，然后使用的版本是自己编译的1.2.1，都是基于Flink做的任务开发。本文通过一下几个点展开：streamx调研及部署streamxsql作业开发streamxcustomcode作业开发streamx监控streamx作业的任务问题

Join/****将两个数据流,进行join**如果让两个流能够join上,必须满足以下两个条件*1.由于数据是分散在多台机器上,必须将join条件相同的数据通过网络传输到同一台机器的同一个分区中(按照条件进行KeyBy)*2.让每个流中的数据都放慢,等等对方(划分相同类型,长度一

    上面我们说了flink允许子任务共享slot,等等,有几个任务,如何分配slot等等对吧.    然后我们再继续来看slot和并行度的关系,看到上面左侧,这个任务有A任务4个并行度,然后B任务4个并行度,然后C任务2个并行度,D任务4个并行度,然后E任务2个并行度...也就是对

由于yarn默认容器资源为最小核心数，即一个cpu，所以我们要根据并行度去调整分配的cpu资源程序如下:指定并行度为5，指定每个TM的slot数为2-p5\ -Dtaskmanager.numberOfTaskSlots=2\所以虽然配置了2个slot(并发度为2)，但是两个task不能同时运行，因为只有一个cpu查看yarn的ui，可以

一、Flink运行部署模式和流程部署模式：1、Local本地部署，直接启动进程，适合调试使用2、StandaloneCluster集群部署，flink自带集群模式3、OnYarn计算资源统一由HadoopYARN管理资源进行调度，按需使用提高集群的资源利用率，生产环境运行流程1、用户提交Flink程序到JobClient，2

Flink任务执行过程中经常会出现由于网络或者内存等原因导致某些task失败，这时就需要我们配置对应的task故障恢复，也就是重启策略来保障某个子task失败可以自动恢复过来而不影响导致整个flinkjob任务失败。Flink的故障恢复有四种方式：重启策略分为：固定延迟重启策略、故障率重启策

一、依赖 二、代码packagenet.xdclass.class11;importjava.util.List;importjava.util.stream.Collectors;importorg.apache.commons.collections.IteratorUtils;importorg.apache.flink.api.common.RuntimeExecutionMode;importorg.apache.flink.api.java.funct

实时即未来1.Flink介绍1.1.发展历史[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0W6AIRw9-1647863509976)(/Users/kayleigh/Library/ApplicationSupportypora-user-images/image-20220317201723092.png)]​[外链图片转存失败,源站可能

表函数（TableFunctions）用户定义的表函数，也可以将0、1或多个标量值作为输入参数；与标量函数不同的是，它可以返回任意数量的行作为输出，而不是单个值；为了定义一个表函数，必须扩展org.apache.flink.table.functions中的基类TableFunction并实现（一个或多个）求值方法；表函数的行为由

Flink基石----Window目录Flink基石----Window一、TimeWindow----时间窗口1、TumblingProcessingTimeWindows----滚动的处理时间窗口2、TumblingEventTimeWindows----滚动的事件时间窗口3、SlidingProcessingTimeWindows:----滑动的处理时间窗口二、SessionWindow----会话窗口

场景：flink1.14.0  通过restApi操作flink集群（standalone），能力有限，目前的项目使用Flink比较原始官网的restApi文档真的写的一塌糊涂，传参和返回结果示例，请求路径（占位符用冒号表示），明显不是搞web项目的人写的这里只记录几个重要的，以及常用的，flinkwebUI上可以直接进行各种操作，只要

前置要求Java技术体系Junit单元测试Idea软件使用Flink自建版本custom-test带有Transformation的HelloWorld程序我们在上一篇文章的基础上增加一个MapFunction的算子操作，并运行起来@TestpublicvoidtestFlinkHelloWorld2()throwsException{DataStreamSource<Str

解压在hadoop102节点服务器上创建安装目录/opt/module，将flink执行解压命令，解压至当前目录。§tar-zxvfflink-1.13.0-bin-scala_2.12.tgz-C/opt/module/flink-1.13.0/flink-1.13.0γ1og/flink-1.13.0/LICENSEflink-1.13.0/lib/3.启动进入解压后的目录，执行启动命令，并查看进程。$c

1.依赖参考：https://iceberg.apache.org/docs/latest/flink/#reading-with-datastream<dependency><groupId>org.apache.flink</groupId><artifactId>flink-java</artifactId><version>1.12.0</version>

然后我们来看一下状态编程,这里我们实现一个简单的任务,就是:我们要实现,温度跳变报警.就是说,当两个温度值之间的温度差大于10度的时候,我们就要报警. 我们来做一下,这里我们新建一个StateTest3_keyedStateApplicationCase然后我们同样是,先把创建环境env,然后设置并

视频：https://www.bilibili.com/video/BV1qy4y1q728?p=14&spm_id_from=333.33.header_right.history_list.click转载笔记：https://ashiamd.github.io/docsify-notes/#/study/BigData/Flink/%E5%B0%9A%E7%A1%85%E8%B0%B7Flink%E5%85%A5%E9%97%A8%E5%88%B0%E5%AE%9E%E6%88%98-%E5

1.flink部署到集群上，standalone模式，需要指定TaskManager主机的地址：修改flink-conf.yaml配置并添加配置taskmanager.host:localhost否则提交job时，会报错：TaskExecutorakka.tcp://xxxhasnomoreallocatedslotsforjob 2.当需要其它的jar包时，比如kafka连接器、jdbc连接器，需

flink上下文换机一些细节Flink程序可以在本地环境运行，也可以在集群环境下运行，不同的运算环境，提交的运行过程也不太一样，这就需要运行程序的时候需要获取上下文环境，从而建立起与flink框架的联系，只有获取到上下文环境信息才能将任务分配到不同的taskmanager上运行。StreamEx

一、导入依赖参考本人下博客二、代码FLink11FilterApp.javapackagenet.xdclass.class9;importorg.apache.flink.api.common.RuntimeExecutionMode;importorg.apache.flink.api.common.functions.FilterFunction;importorg.apache.flink.api.java.functions.KeySelecto

1.什么是Savepoint和CheckpointSavepoint是一项可让我们为整个流应用程序生成”某个时间”点快照的能力。快照包含有关您输入源的位置信息，以及数据源读取到的偏移量信息以及整个应用程序状态信息。我们可以使用Chandy-Lamport算法的变体在不停止应用程序的情况下获得全部状

FlinkSink：接收器flink代码分为三部分：1、Source----数据源，读取数据2、Transformation----转换，对数据进行处理，也就是算子3、Sink----将数据发出去Flink将转换计算后的数据发送的地点。Flink常见的Sink大概有如下几类：1、写入文件2、打印出来3、写入socket4、自定

导读：大家好我是胖子，我想我们大家都知道Flink是有状态的实时计算引擎，很多人不理解一个计算引擎应该怎么做呢，其实这就涉及到了Flink的核心，也就是它的应用程序抽象，我们都知道Flink会将我们编写的程序来进行转换成一个图，接着会进行优化，以及转换成一些可执行的图。可是你真的认真

聚合函数（AggregateFunctions）用户自定义聚合函数（User-DefinedAggregateFunctions，UDAGGs）可以把一个表中的数据，聚合成一个标量值；用户定义的聚合函数，是通过继承AggregateFunction抽象类实现的AggregationFunction要求必须实现的方法：–createAccumulator

解压目录说明:bin可执行脚本conf配置文件data示例程序使用数据examples示例程序jars依赖jar包pythonpythonAPIRR语言APIsbin集群管理命令yarn整合yarn需要的东西 Flink的使用1）处理结果准确：无