state状态操作https://ci.apache.org/projects/flink/flink-docs-release-1.8/concepts/programming-model.html#stateful-operationskv的状态，来源不同的source会自动分片到固定的state节点上,多个机器上的任务操作的同一个state

2018年12月，ApacheFlinkCommunityChina成功举办了国内首届FlinkForwardChina，并在诸多合作伙伴的帮助下成功将其打造为规模最大、参与人数最多的FlinkForward大会。今年，ApacheFlink年度最高规格的盛会即将再次拉开帷幕！FlinkForwardChina已正式升级为FlinkForw

org.apache.flink.client.deployment.ClusterDeploymentException:Couldn'tdeployYarnsessionclusteratorg.apache.flink.yarn.AbstractYarnClusterDescriptor.deploySessionCluster(AbstractYarnClusterDescriptor.java:423)atorg.apache.flink.yarn.cli.Flink

一，Flink分布式架构分布式系统需要解决：分配和管理在集群的计算资源、处理配合、持久和可访问的数据存储、失败恢复。Fink专注分布式流处理。怎么去设计分布式架构需要根据业务需要和技术水平配置，官网上给出了Flink运行时的基本分布式架构Flink运行时环境由两种类型进程组成：

01传统数据基础架构如图1-1所示，传统单体数据架构（MonolithicArchitecture）最大的特点便是集中式数据存储，企业内部可能有诸多的系统，例如Web业务系统、订单系统、CRM系统、ERP系统、监控系统等，这些系统的事务性数据主要基于集中式的关系性数据库（DBMS）实现存储，大多数将架构分为计

Flink会话窗口测试一、测试结论：1、会话窗口的间隔时间和水位线作用一样，表示输出现在时间-间隔时间之前所有未结算时间的数据，作用类似于水位线，但是和水位线开闭不一样。2、会话窗口显示的数据是[上一个时间-水位线-间隔时间+2ms~现在的时间-水位线-间隔时间+1ms]之间

1.启动集群bin/start-cluster.sh2.jps查看进程3.打开网页端（192.168.66.128:8081）4.造数据：nc-lk90005.执行./bin/flinkrunexamples/streaming/SocketWindowWordCount.jar--port9000  

<build><!--编译的文件目录--><resources><resource><directory>src/main/scala</directory><esource><resource><directory>src/main/java</directory>

系统的架构是整个系统的全貌，我们要了解的是系统包含的各个模块以及每个模块的指责和各个部分的相互关系。flink的架构如下图所示：如图所示：flink系统包含三部分：client，jobmanager，taskmanager。client程序中编写使用的每个算子（map,flatmap等）都会解析为operate，Flink采用了类似责

接上篇：【翻译】Flink异步I/O访问外部数据最近看了大佬的博客，突然想起AsyncI/O方式是Blink推给社区的一大重要功能，可以使用异步的方式获取外部数据，想着自己实现以下，项目上用的时候，可以不用现去找了。最开始想用scala实现一个读取hbase数据的demo，参照官网demo：

1、reduce操作，在分组的dataset上使用，也可以在不分组的dataset上使用应用于分组DataSet的Reduce转换使用用户定义的reduce函数将每个组减少为单个元素。对于每组输入元素，reduce函数连续地将元素对组合成一个元素，直到每个组只剩下一个元素。注意，对于ReduceFunction，返回对象的key字

1、连通分量是什么？首先需要了解什么是连通图、无向连通图、极大连通子图等概念，这些概念都来自数据结构-图，这里简单介绍一下。下图是连通图和非连通图，都是无向的，这里不扩展有向图：   连通分量（connectedcomponent）：无向图中的极大连通子图（maximalconnectedsubgraph）称为原

上一篇介绍了编写Flink程序的基本步骤，以及一些常见API，如：map、filter、keyBy等，重点介绍了keyBy方法。本篇将继续介绍Flink中常用的API，主要内容为指定transform函数Flink支持的数据类型累加器指定transform函数许多transform操作需要用户自定义函数来实现，Flin

packagewindow.non_keyedimportorg.apache.flink.api.common.functions.FlatMapFunctionimportorg.apache.flink.streaming.api.functions.source.SourceFunctionimportorg.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimportorg.apache.flink.streamin

flinkapi常用操作算子1.flink中算子是将一个或多个DataStream转换为新的DataStream，可以将多个转换组合成复杂的数据流拓扑2.在flink中有多种不同的DataStream类型，他们之间是通过使用各种算子进行的3.在flink中使用scala语言开发，需要引用importorg.apache.flink.strea

使用如下项目骨架创建flink项目，结果被官方的下面这个创建方式坑了。。mvnarchetype:generate\-DarchetypeGroupId=org.apache.flink\-DarchetypeArtifactId=flink-quickstart-java\-DarchetypeCatalog=https:/epository.apache.org/contentepositories/snaps

转载请注明出处：http://blog.csdn.net/dongdong9223/article/details/95355619本文出自【我是干勾鱼的博客】Ingredients：Java：JavaSEDevelopmentKit8u162(OracleJavaArchive)，Linux下安装JDK并修改环境变量IntelliJIDEA：ideaIC-2019.1.2.dmg，ideaIU-2018.3.6(In

因为工作需要需要研究一下Flink，在此记录一下Flink的安装和启动安装环境为CentOS,Flink版本为1.4.0,安装Flink之前确保已经安装Java1.8版本及以上[root@node2flink]#java-versionopenjdkversion"1.8.0_161"OpenJDKRuntimeEnvironment(build1.8.0_161-b14)OpenJDK64-Bit

1、创建配置文件apollo官网示例显示javaapi使用配置文件方式如下：配置文件内容：app.id=java-apollo-test-20190724apollo.meta=http://apollo-server:10080apollo.cacheDir=./cache2、示例代码publicclassStreamingJob2{ publicstaticvoidmain

因需要，再扩3台flink，遇到各种报错，折腾了3个小时，最终找到了一种简单可行的方式，该方式，需要清空checkpoint，暂时没有找到更好的方案。rm-rfmprm-rf/data/hadoop/*（checkpoint存储的位置）hadoopnamenode-format(所有结点)start-dfs.shstart-yarn.shstart-zookeeper-quorum.sh

一、Flink提交任务的流程Flink任务提交后，Client向HDFS上传Flink的jar包和配置，之后向YarnResourceManager提交任务，ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster，ApplicationMaster启动后加载Flink的jar包和配置构建环境，然后启动JobManager；

参考链接：https://flink.sojb.cn/dev/api_concepts.html#anatomy-of-a-flink-program1.DataSetandDataStream表示Flinkapp中的分布式数据集包含重复的、不可变数据集DataSet有界、DataStream可以是无界可以从数据源、也可以通过各种转换操作创建2、Flink编程套路获得

原文链接：https://ververica.cnApacheFlink零基础入门（一）：基础概念解析ApacheFlink零基础入门（二）：开发环境搭建和应用的配置、部署及运行ApacheFlink零基础入门（三）：DataStreamAPI编程ApacheFlink零基础入门（四）：客户端操作------------------------

Linux运行环境搭建一个单机版Flink运行环境下载Flink程序包：flink-1.8.1-bin-scala_2.11.tgz部署在Linux服务器上，然后以单机模式运行#cdflink#tarxzfflink-1.8.1-bin-scala_2.11.tgz#cdflink-1.8.1#./bin/start-cluster.sh启动成功后，浏览器访问ip:8081，即

大数据技术的兴起，让企业能够更加灵活高效地使用自己的业务数据，从数据中提取出更多重要的价值，并将数据分析和挖掘出来的结果应用在企业的决策、营销、管理等应用领域。但不可避免的是，随着越来越多新技术的引入与使用，企业内部一套大数据管理平台可能会借助众多开源技术组件实现。

最近尝试使用flink的table-sql，发现没有from_unixtime函数，只能自定义该udf。原始kafka消息日志{"action":"exposure","itemId":"16c65063e51d4d834722bf1a4b1d6378@TT@1576","rankIndex":14,"time":"1563641998","unionI

知识点Flink介绍1、无界数据-->数据不断产生2、有界数据-->最终不再改变的数据3、有界数据集是无界数据集的一个特例4、有界数据集在flink内部是以一种终态数据集进行处理的5、在flink中，有界和无界的差别非常小6、使用同一套流计算引擎上的API操作两种数

1意义1.1分层的APIs&抽象层次Flink提供三层API。每个API在简洁性和表达性之间提供不同的权衡，并针对不同的用例。而且Flink提供不同级别的抽象来开发流/批处理应用程序最低级抽象只提供有状态流。它通过ProcessFunction嵌入到DataStreamAPI中。它允许用户自由处理来

组件栈API&Libraries层基于流处理的：CEP（复杂事件处理库）、SQL&Table库基于批处理的：FlinkML（机器学习库）、GElly（图处理库）等API层：DataStreamAPI（流计算）、DataSetAPI（批计算）Core层支持分布式Stream作业的执行、JobGraph到ExecutionGraph的映射转换、任务调度等。将DataStrea

    众所周知，flink是有状态的计算。所以学习flink不可不知状态。    正好最近公司有个需求，要用到flink的状态计算，需求是这样的，收集数据库新增的数据。    听起来很简单对吧？起初我也这么认为，现在发现，这尼玛就是变相的动态读取啊。因为数据是一直在增