Influxdb和Grafana安装不在这里赘述，直接介绍flink的配置。一、创建InfluxDB数据库因为我们需要将采集的metrics数据保存到influxdb中，所以我们首先需要创建一个数据库，createdatabasesflinkonyarn默认情况下，influxdb在刚安装好之后，禁用身份验证，静默忽略所有凭据，并且所有用户都

一、概述Flink整个系统主要由两个组件组成，分别为JobManager和TaskManager，Flink架构也遵循Master-Slave架构设计原则，JobManager为Master节点，TaskManager为Worker（Slave）节点。 所有组件之间的通信都是借助于AkkaFramework，包括任务的状态以及Checkpoint触发等

社区中有好几个同学问过这样的场景：flink任务中，source进来的数据，需要连接数据库里面的字段，再做后面的处理这里假设一个ETL的场景，输入数据包含两个字段“type,userid....”，需要根据type，连接一张mysql的配置表，关联type对应的具体内容。相对于输入数据的数量，type

本文主要介绍FlinkRuntime的作业执行的核心机制。本文将首先介绍FlinkRuntime的整体架构以及Job的基本执行流程，然后介绍在这个过程，Flink是怎么进行资源管理、作业调度以及错误恢复的。最后，本文还将简要介绍FlinkRuntime层当前正在进行的一些工作。查看原文。

我工程实践的题目是《用户行为实时分析系统的设计与实现》。同类软件产品有：Flink、Siddhi、TDengine.1.这些软件的开发者是怎么说服你（陌⽣⼈）成为他们的⽤户的？他们的⽬标都是盈利么？他们的⽬标都是赚取⽤户的现⾦么？还是别的？这些软件的开发者宣传中称他们的软件易于使用。

原文链接：https://my.oschina.net/u/2935389/blog/3023081TopN是统计报表和大屏非常常见的功能，主要用来实时计算排行榜。流式的TopN不同于批处理的TopN，它的特点是持续的在内存中按照某个统计指标（如出现次数）计算TopN排行榜，然后当排行榜发生变化时，发

flink1.8对hive的支持不够好，造成300W的数据，居然读了2个小时，打算将程序迁移至spark。先把代码贴上maven<dependency><groupId>org.apache.hive</groupId><artifactId>hive-jdbc</artifactId><version>1.1.0</version>

现在大数据相关服务，越来越倾向于使用scala语言，scala函数式编程的优势我不多赘述。最明显的一个优点，代码简洁。看个WordCount实现对比：Java版WordCount1ExecutionEnvironmentenv=ExecutionEnvironment.getExecutionEnvironment();23DataSet<String>text=env.readTex

Flink的API大体上可以划分为三个层次：处于最底层的ProcessFunction、中间一层的DataStreamAPI和最上层的SQL/TableAPI，这三层中的每一层都非常依赖于时间属性。时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层API。在DataStreamAPI这一层中因为

DataSources是什么呢？就字面意思其实就可以知道：数据来源。Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink就能够一直计算下去，这个DataSources就

问题说明最近做了关于flink的需求.现在需要通过HTTP访问FLINK的RESTAPI，rest接口的JSON非常庞大而复杂。那么怎么去完整的接收数据呢？方法一就是手写部分需要的JavaBean，嵌套比较麻烦而复杂。照着jsonschema写，非常慢。方法二直接通过jsonObject接收，当作map使用，虽然没有第

Flink导包倒错首先是错误现场，如图所示：就是报错，搞得我很郁闷，查了半天，才发现包导错了没有注释的是javaAPI的包注释的是ScalaAPT的包换成下面的包后，如图：思考：才开始学flink没注意到犯了错误记录在此提醒自己

不多bb!先看RedisCommand设置数据结构类型时和redis结构对应关系。DataTypeRedisCommand[Sink]HASHHSETLISTRPUSH,LPUSHSETSADDPUBSUBPUBLISHSTRINGSETHYPER_LOG_LOGPFADDSORTED_SETZADDSORTED_SETZREM具体的操作类：pa

看完本文，你能get到以下知识Flink流处理为什么需要网络流控？FlinkV1.5版之前网络流控介绍FlinkV1.5版之前的反压策略存在的问题Credit的反压策略实现原理，Credit是如何解决Flink1.5之前的问题？对比spark，都说flink延迟低，来一条处理一条，真是这样吗？其实Flink内部也有Buffer

JobsandScheduling 作业和调度这边文档简要的描述了Flink怎么样调度作业和Flink在JobManager中如何表述和跟踪作业。Scheduling 调度Flink中的执行资源是通过任务执行槽来确定的。每个TaskManager有一个或者多个任务执行槽，每个可以运行一个并行任务的流水线。每

第一步：将dataStream转换城windowedStream//从kafka读取数据valinputStream=env.addSource(newFlinkKafkaConsumer[String]("hotitems",newSimpleStringSchema(),properties)).map(data=>{valdataArray=data

最近这段时间一直在忙新集群迁移，上了最新的cdh6.3.0于是Flink提交遇到了许多的问题还好有cloudera License有了原厂的帮助和社区的伙伴，问题解决起来快了不少，手动滑稽集群具体情况是，cdh6.3.0+Flink1.8.1,整个数据平台全部组件都上了kerberos和ldap因为要过认证，所以任务提交方

flink作业远程调试背景：开发过程中有时候需要调试集群中的作业或者源码集群配置：文件flink-conf.yaml添加两行#jobmanagerdebug端口env.java.opts.jobmanager:"-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5006"#taskmanagerdebug端口env.

 1.Flink运行时组件         作业管理器（JobManager）    任务管理器（TaskManager）   资源管理器（ResourceManager）   分发器（Dispatcher）   2.任务提交流程     Flink任务提交后，Client向HDFS上传Flink的Jar包和配置，之后向Y

1、添加Maven坐标<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.48</version></dependency><dependency><groupId>org.ap

Flink程序遵循一定的编程模式。DataStreamAPI和DataSetAPI基本具有相同的程序结构。以下为一个流式程序的示例代码来对文本文件进行词频统计。packagecom.realtime.flink.streamingimportorg.apache.flink.apijava.utils.ParameterToolimportorg.apache.flink.streamin

先上张图整体了解Flink中的异步io 阿里贡献给flink的，优点就不说了嘛，官网上都有，就是写库不会柱塞性能更好然后来看一下，Flink中异步io主要分为两种一种是有序Ordered一种是无序UNordered主要区别是往下游output的顺序（注意这里顺序不是写库的顺序既然都异步了写库的

Flink1.9合并了Blink的代码，也就意味着我们在使用TableAPI开发程序的时候，可以选在两种不同的执行计划。一种是原来的Flink的执行计划。一种是Blink的执行计划。截止到1.9的版本，虽然集成了Blink的执行计划，但是并不建议在生产中使用。Flink的执行计划，统称为OldPlanner//**********

摘要：2019云栖大会大数据&AI专场，阿里巴巴资深技术专家王峰带来“VervericaPlatform-阿里巴巴全新Flink企业版揭秘”的演讲。本文主要从Ververica由来开始谈起，着重讲了VervericaPlatform的四个核心插件AppManager、LibraService、StreamLedger、Gemini，以及阿里巴巴实时计算

本文转自：https://www.ituring.com.cn/bookupubarticle/23229第1章为何选择Flink人们对某件事的正确理解往往来自基于有效论据的结论。要获得这样的结论，最有效的方法就是沿着事件发生的轨迹进行分析。许多系统都会产生连续的事件流，如行驶中的汽车发射出GPS信号，金

Flink中窗口是很重要的一个功能，而窗口又经常配合触发器一起使用。Flink自带的触发器大概有：CountTrigger：指定条数触发ContinuousEventTimeTrigger：指定事件时间触发ContinuousProcessingTimeTrigger：指定处理时间触发ProcessingTimeTrigger：默认触发器，窗口结束触发EventTimeTri

有状态的计算作为容错以及数据一致性的保证，是当今实时计算必不可少的特性之一，流行的实时计算引擎包括GoogleDataflow、Flink、Spark(Structure)Streaming、KafkaStreams都分别提供对内置State的支持。State的引入使得实时应用可以不依赖外部数据库来存储元数据及中间数据

前言环境：JDK1.8+Flink1.6+Hadoop2.7.3文中若有表述不正确，欢迎大伙留言指出，谢谢！1、现象使用yarn-session在yarn上启动flink集群并提交任务后，在FlinkWebUI上发现任务的state个数每十分钟左右会从0到10左右后又重复从0开始，但输出的结果没有问题。2、分析过程

简介： 本人通过分析痛点、同步批量请求优化为异步请求、多线程Client模式、Flink算子内多线程实现以及总结四部分帮助大家理解Flink中使用多线程的优化及在Flink算子中使用多线程如何保证不丢数据。分析痛点笔者线上有一个Flink任务消费Kafka数据，将数据转换后，在Flin

网盘地址：https://pan.baidu.com/s/12RzJnRCPWBZPh6bPaiWVWg提取码：xft4备用地址（腾讯微云）：https://share.weiyun.com/5L4l0kp密码：y3q8w3课程主要基于Flink最新稳定版本进行讲解，课程包含FlinkDataSet、容错、Connector、FlinkSQL以及实时数仓项目。希望通过本课程的学习，大家能快