原文链接：https://yq.aliyun.com/articles/702436?spm=a2c4e.11163080.searchblog.20.58fa2ec1yDYzZ0 作者|张俊本文整理自2019年4月13日在深圳举行的FlinkMeetup会议，分享嘉宾张俊，目前担任OPPO大数据平台研发负责人，也是ApacheFlinkco

大数据技术的兴起，让企业能够更加灵活高效地使用自己的业务数据，从数据中提取出更多重要的价值，并将数据分析和挖掘出来的结果应用在企业的决策、营销、管理等应用领域。但不可避免的是，随着越来越多新技术的引入与使用，企业内部一套大数据管理平台可能会借助众多开源技术组件实现。01

1、添加远程仓库到本地remote分支[email protected]:apache/flink.git#远程仓库地址2、查看当前仓库的远程分支[email protected]:springMoon/flink.git(fetch)[email protected]:springMoon/flink.git(push)upstream

第七章EventTime与Window7.1EventTime的引入在Flink的流式处理中，绝大部分的业务都会使用eventTime，一般只在eventTime无法使用时，才会被迫使用ProcessingTime或者IngestionTime。如果要使用EventTime，那么需要引入EventTime的时间属性，引入

https://mp.weixin.qq.com/s/1h942YAcS6fhO5C43hGX-w什么是数据异构？简单讲，就是将数据进行异地数据异构存储。 数据异构  服务市场使用BinLake（京东MySQL的Binlog日志实时采集、统一分发、消息订阅和监控服务）进行数据异构，即通过订阅MySQL的Binlog日志，通过接收JMQ

简介      Flink运行时主要角色有两个：JobManager和TaskManager，无论是standalone集群，flinkonyarn都是要启动这两个角色。JobManager主要是负责接受客户端的job，调度job，协调checkpoint等。TaskManager执行具体的Task。TaskManager为了对资源进行隔离和增加允许的tas

一个Flink消费Kafka数据的程序，FlinkonYarn模式，之前在测试和生产环境发布，都是正常的，没有任何问题，但是后来把测试环境重启了一下，又重新发了一次，竟然报错了，错误如下：2019-07-0115:19:25,984INFOorg.apache.flink.runtime.taskmanager.Task-Source:

https://yq.aliyun.com/articles/81743?utm_campaign=wenzhang&utm_medium=article&utm_source=QQ-qun&2017516&utm_content=m_20992 pdf 下载； 

Flink学习笔记-容错数据流有状态的函数和操作需要存储关于计算的数据，这使得状态成为复杂计算的关键。在Flink中的每一种函数和操作都可以成为有状态的。为了达到很好的容错，Flink的容错机制持续的记录分布式的数据流的快照。这些快照是非常轻量化的，因此高频的记录快照并不会影

1.flink官网：https://flink.apache.org 2.fink特点：Flink灵活的窗口Exactlyonce语义保证 3.fink架构  4.fink安装 https://www.jianshu.com/p/775bdd05d047  

原文链接：https://www.jianshu.com/p/d1891de92ca7目录编程结构DataSetAPIDataSetSourcesDataSetTransformationDataSetSink序列化器数据类型编程结构publicclassSocketTextStreamWordCount{ publicstaticvoidmain(String[]args)

下载安装flink：上传压缩包：flink-1.7.2-bin-scala_2.12.tgz解压：tar-zxvf/flink-1.7.2-bin-scala_2.12.tgz-C../hone复制解压文件到子节点：scp-r/home/flink-1.7.2/root@slave1:/home/scp-r/home/flink-1.7.2/root@slave2:/home/修改配置文件：选择一个master节点，配置conf/flin

Flink的ProcessFunction(低层次操作)ProcessFunction(过程函数)ProcessFunction是一个低层次的流处理操作，允许返回所有(无环的)流程序的基础构建模块:1、事件(event)(流元素)2、状态(state)(容错性，一致性，仅在keyedstream中)3、定时器(timers)(eventtime

先简单介绍一下Timestamp和Watermark的概念: 1.Timestamp和Watermark都是基于事件的时间字段生成的2.Timestamp和Watermark是两个不同的东西，并且一旦生成都跟事件数据没有关系了（所有即使事件中不再包含生成Timestamp和Watermark的字段也没关系）3.事件数据和Timestamp一一

水印：个人对于水印的理解，waterMark触发窗口函数执行的判定条件，可以看作对每一个数据的处理时间进行延时，但真正的机制是通过控制窗口函数的触发时间来处理延时数据。1defassignTimestampsAndWatermarks(assigner:AssignerWithPeriodicWatermarks[T]):DataStream[T]={

Flink对于流处理架构的意义十分重要，Kafka让消息具有了持久化的能力，而处理数据，甚至穿越时间的能力都要靠Flink来完成。在Streaming-大数据的未来一文中我们知道，对于流式处理最重要的两件事，正确性，时间推理工具。而Flink对两者都有非常好的支持。Flink对于正确性的保证对于连续的

标签名称：flink功能说明：用于获取友情链接适用范围：全局使用基本语法：{dede:flinkrow='24'/}参数说明：type='image'或textall，图片链接，text文字链接；row='24'链接数量titlelen='24'站点文字的长度linktype='2'链接位置首页linktype='1'链接位置内页typeid='0'所

1.背景ApacheFlink和ApacheStorm是当前业界广泛使用的两个分布式实时计算框架。其中ApacheStorm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考Storm的可靠性保证测试），有管理平台、常用API和相应的文档，大量实时作业基于Storm构建。而Apache

本周头疼少了一更，下周补上FlinkCEP是在Flink之上实现的复杂事件处理（CEP）库。它允许你在×××的事件流中检测事件模式，让你有机会掌握数据中重要的事项。本文描述了FlinkCEP中可用的API调用。首先介绍PatternAPI，它允许你指定要在流中检测的模式，然后介绍如何检测匹配事

作者：李锐介绍：阿里巴巴技术专家，ApacheHivePMC，加入阿里巴巴之前曾就职于Intel、IBM等公司，主要参与Hive、HDFS、Spark等开源项目。ApacheFlink从1.9.0版本开始增加了与Hive集成的功能，用户可以通过Flink来访问Hive的元数据，以及读写Hive中的表。本文将主要

  Flink的集群搭建方式有两种分别是Standalone模式（独立集群模式）和HA模式（高可用集群模式）。下面我们就来学习者两种集群的搭建（这里以flink-1.6.0-bin-hadoop26-scala_2.11.tgz版本为例）。环境准备三台虚拟机，每台节点hostname分别为node01、node02、node03，虚拟机之间配置了免密登

本篇核心目标是让大家概要了解一个完整的ApacheFlinkSQLJob的组成部分，以及ApacheFlinkSQL所提供的核心算子的语义，最后会应用TumbleWindow编写一个End-to-End的页面访问的统计示例。1.ApacheFlinkSQLJob的组成 我们做任何数据计算都离不开读取原始数据，计算逻

最近flink较火，尝试使用flink做推荐功能试试，说干就干，话说flink-ml确实比较水，包含的算法较少，且只支持scala版本，以至flink1.9已经将flink-ml移除，看来是准备有大动作，但后期的实时推荐，flink能派上大用场。所幸基于物品的协同过滤算法相对简单，实现起来难度不大。先看目前推荐整体的架构。

“富函数”是DataStreamAPI提供的一个函数类的接口，所有Flink函数类都有其Rich版本。它与常规函数的不同在于，可以获取运行环境的上下文，并拥有一些生命周期方法，所以可以实现更复杂的功能。RichMapFunctionRichFlatMapFunctionRichFilterFunctionRichFunction有一个生命周期的

1下载1.0基础环境Ubuntu18.04Java1.8.0_191Scala2.12.91.2下载flink传送门:https://flink.apache.org/downloads.html选择与scala版本对应的flink版本,测试选择1.9.0.2安装新建目录cd/usrsudomkdirflinkcdflink解压文件至flink全路径:/us

flink的特点：能同时满足高性能、高吞吐、低延时，相比较于storm和sparkstreaming，storm的吞吐量不如flink，而sparkstreaming的延时比较高，因为sparkstreaming进行流式计算的原理就是微批操作，就是要积累一定的时间，虽然可以尽量降低这个时间粒度，但是延时指标还是会比flink要高同时支

Flink的入门基础1.flink与spark的区别：https://www.zhihu.com/question/301518722.Spark与Flink：对比与分析https://blog.csdn.net/wind520/article/details/521991933.Flink之一Flink基本原理介绍：https://blog.csdn.net/lisi1129/article/details/548449194.Flink架构

原文转至：https://docs.google.com/document/d/1Lr9UYXEz6s6R_3PWg3bZQLF3upGaNEkc0rQCFSzaYDI/edit#AsynchronousI/ODesignandImplementation MotivationI/Oaccess,forthemostcase,isatime-consumingprocess,makingtheTPSforsingleoperat

本文为ApacheFlink新版本重大功能特性解读之FlinkSQL系列文章的开篇，FlinkSQL系列文章由其核心贡献者们分享，涵盖基础知识、实践、调优、内部实现等各个方面，带你由浅入深地全面了解FlinkSQL。1.发展历程今年的8月22日ApacheFlink发布了1.9.0版本(下文简称1.9)，在Fl

Flink的应用开发1、首先创建Flink执行环境2、构建数据源，添加数据源数据源是Flink的数据流入口，目前flink已经包含了一些常用的数据源组件，可以直接从文件，文件目录，hdfs文件系统、socket、Kafka(需要单独引入flink-connector-kafka包)消息等源头中读取数据。不过所有的数据源组件