https://github.com/sunjincheng121/know_how_know_whyree/master/khkw/No27-Topology 

文章目录执行模式（批处理/流处理）什么时候可以/应该使用BATCH执行模式？配置BATCH执行模式ExecutionBehavior（执行行为）任务调度和网络shuffle流执行模式批执行模式状态后端/状态OrderofProcessing(处理顺序)EventTime/Watermarks(时间时间/水印)ProcessingTime(处理

第1章 资源配置调优Flink性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。提交方式主要是yarn-per-job，资源的分配在使用脚本提交Flink任务时进行指定。

flink简介https://blog.csdn.net/qq_35423154/article/details/1137598911.environmentflink任务在提交计算时，首先与flink框架建立联系，获取了环境信息才能将task调度到不同的任务管理者那里执行。2.SourceFlink框架从不同的数据源获取数据，随后框架对数据进行处理1）从

Whenusingsideoutputs,youfirstneedtodefinean OutputTag thatwillbeusedtoidentifyasideoutputstream://thisneedstobeananonymousinnerclass,sothatwecananalyzethetypeOutputTag<String>outputTag=newOutputTag<String&g

距离上次atlas发布新版本已经有一年的时间了，但是这一年元数据管理平台的发展一直没有停止。Datahub，Amundsen等等，都在不断的更新着自己的版本。但是似乎Atlas在元数据管理，数据血缘领域的地位一直没有动摇。最近Atlas终于迎来又一次大的更新，发布了全新的2.2.0版本。首先来了解一

 https://github.com/sunjincheng121/know_how_know_whyree/master/khkw/No28-Correctness 

一个同学在群里问的这个问题，刚好好久没写过window的sql了，玩一玩手上没有环境，一起从简了使用datagen生成数据，id随机生成，最小值输出直接到console窗口--flinkwindowtvfcalcpv&uvcreatetableifnotexistsdatagen_source(idint,namestri

                           https://github.com/sunjincheng121/know_how_know_whyree/master/khkw/No31-e2e-exactlyonce 

IntervalJoinKeyedStream,KeyedStream→DataStream #Jointwoelementse1ande2oftwokeyedstreamswithacommonkeyoveragiventimeinterval,sothat e1.timestamp+lowerBound<=e2.timestamp<=e1.timestamp+upperBound.IntervalJoin会将两个数据流

                    

一、下载安装二、文件配置三、启动Flink一、下载安装1.1下载地址：https://archive.apache.org/dist/flink，此处下载的文件是flink-1.7.2-bin-hadoop27-scala_2.11.tgz1.2解压缩进入文件目录tar-zxvfflink-1.7.2-bin-hadoop27-scala_2.11.tgz-C/usr.local/hdfs/1.3

Flink概述 基于数据流的一个有状态的计算框架 无界流：有开始无结束（流式处理） 有界流：有开始有结束（批处理） sparkstreaming:批处理为主，流式处理是批处理的一个特性（minibatch） Flink流式为主，批处理是流式处理的一个特例 storm流式处理Flink具体用在三大类 1）Event-drivenAppl

              

假设一种场景，从KafkaSource拉取数据，经过一次窗口聚合，最后将数据发送到KafkaSink，如下图：1.JobManager向Source发送Barrier，开始进入pre-Commit阶段，当只有内部状态时，pre-commit阶段无需执行额外的操作，仅仅是写入一些已定义的状态变量即可。当chckpoint成功时Flink负责提交这些写入，否

Flink介绍一下flink是分布式的处理引擎，用于处理批数据或者流数据，批数据是有界的，流数据是无界的，分别对应批处理和流处理Flink整个的架构由三个组成：Client，JobManager，TaskManagerClient对Flink任务进行预处理，并将任务提交到Flink集群中JobManager对整个集群进行管理，并负责资源的

1使用迟到元素更新窗口计算结果(UpdatingResultsbyIncludingLateEvents)由于存在迟到的元素，所以已经计算出的窗口结果是不准确和不完全的。我们可以使用迟到元素更新已经计算完的窗口结果。如果我们要求一个operator支持重新计算和更新已经发出的结果，就需要在第一次发出结

1flink从集合中读取数据1.1代码packagecom.study.liucf.bounded.api.sourceimportorg.apache.flink.streaming.api.scala._/***@Authorliucf*@Date2021/9/5*/caseclassSensorReding(id:String,timeStamp:Long,temperature:Double)objectCollectionSo

大家好，今天我们来聊一聊flink的Watermark机制。这也是flink系列的的第一篇文章，如果对flink、大数据感兴趣的小伙伴，记得点个关注呀。背景​flink作为先进的流水计算引擎，提供了三种时间概念，这对基于时间的流处理应用提供了多种可能。Eventtime指生产设备中每个独立的事

先实现“热门页面浏览数”的统计，也就是读取服务器日志中的每一行log，统计在一段时间内用户访问每一个url的次数，然后排序输出显示。具体做法为：每隔5秒，输出最近10分钟内访问量最多的前N个URL。可以看出，这个需求与之前“实时热门商品统计”非常类似。输入数

ArrayExpansion（数组展开）为给定数组中的每个元素返回新行 SELECTorder_id,tagFROMOrdersCROSSJOINUNNEST(tags)ASt(tag) TableFunction连接表和TableFunction的结果，左（外）表中的每一行将会与调用TableFunction所产生的所有结果中相关行

Thefollowingcodeshowshowtouse toChangelogStream fordifferentscenarios.importorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache.flink.streaming.api.functions.ProcessFunction;importorg.apache.flink.table.api.DataTypes;impo

关于Transform中的union操作:对两个或者两个以上的相同类型的DataStream进行union操作，产生一个包含所有DataStream元素的新DataStream例如:将3个通类型的流进行合并DataStreamSource<Integer>stream1=env.fromElements(1,2,3,4,5);DataStreamSource<Integer>str

Flink搭建-本地模式模式说明安装准备安装测试ApacheFlink1.10Documentation模式说明本地模式适用于本地开发和测试环境，占用的资源较少，部署简单安装准备①环境准备Linux服务器②下载安装包ApacheFlink:DownloadsApacheFlink:Downloads:flink-1.

简介官网：https://flink.apache.org/ApacheFlinkisaframeworkanddistributedprocessingengineforstatefulcomputationsoverunboundedandboundeddatastreams.ApacheFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。为什么选择Flink流

0GroupAggregation（简介）Batch StreamingLikemostdatasystems,ApacheFlinksupportsaggregatefunctions;bothbuilt-inanduser-defined. User-definedfunctions mustberegisteredinacatalogbeforeuse.Anaggregatefunctioncomputesasingleresultf

Thefollowingcodeshowshowtouse fromChangelogStream fordifferentscenarios.importorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache.flink.table.api.Schema;importorg.apache.flink.table.api.Table;importorg.apache.flink.table

0.说明本文基于Flink1.12；本文是在阅读源码过程结合自己理解所写，不一定正确，欢迎大伙留言指出；1.集群部署1.1.部署方式Flink集群部署可以简要的分为以下两种方式：直接部署在服务器上(物理机、Kubernetes、docker等)；结合其他资源调度框架，如onYarn、Mesos；1.2.部署在服

        对于网站而言，用户登录并不是频繁的业务操作。如果一个用户短时间内频繁登录失败，就有可能是出现了程序的恶意攻击，比如密码暴力破解。因此我们考虑，应该对用户的登录失败动作进行统计，具体来说，如果同一用户（可以是不同IP）在2秒之内连续两次登录失败，就认为

0Joins Batch StreamingFlinkSQLsupportscomplexandflexiblejoinoperationsoverdynamictables.Thereareseveraldifferenttypesofjoinstoaccountforthewidevarietyofsemanticsqueriesmayrequire.Bydefault,theorderofjoinsisnotoptimi