前言本文首发自我的知识星球系列文章《大数据重磅炸弹实时计算引擎Flink》基础篇第二篇在上一篇文章 你公司到底需不需要引入实时计算引擎？ 中我讲解了日常中常见的实时需求，然后分析了这些需求的实现方式，接着对比了实时计算和离线计算。随着这些年大数据的飞速发展，也出现了不少计

目录任务类型 任务与slot任务类型分为三种：source，transformation，sink 一个Flink程序由多个Source+多个Transformation+多个Sink组成。其中多个Source中的任意一个Source，叫做任务多个Transformation中的任意一个Transformation也叫做任务多个Sink中的任意一个Sink

背景说明线上业务反应使用Flink消费上游kafkatopic里的轨迹数据出现backpressure，数据积压严重。单次bulk的写入量为：3000/50mb/30s，并行度为48。针对该问题，为了避免影响线上业务申请了一个与线上集群配置相同的ES集群。本着复现问题进行优化就能解决的思路进行调优测试。测试环境ela

基于Prometheus+Grafana打造企业级Flink监控系统大数据技术与架构大数据技术与架构在进入本文之前，我先问大家一个问题，你们公司或者业务系统上是如何对生产集群上的数据同步任务、实时计算任务或者是调度任务本身的执行情况和日志进行监控的呢？可能你会回答是自研或者ELK系统或者

Flink异步之矛-锋利的AsyncI/O大数据技术与架构大数据技术与架构维表JOIN-绕不过去的业务场景在Flink流处理过程中，经常需要和外部系统进行交互，用维度表补全事实表中的字段。例如：在电商场景中，需要一个商品的skuid去关联商品的一些属性，例如商品所属行业、商品的生产厂家、生产

前言再上一篇文章中 《从0到1学习Flink》——DataSource介绍 讲解了FlinkDataSource，那么这里就来讲讲FlinkDataSink吧。首先Sink的意思是：大概可以猜到了吧！Datasink有点把数据存储下来（落库）的意思。如上图，Source就是数据的来源，中间的Compute其实就是Flink干的

2020年要做的几件大事群主王知无大数据技术与架构技术方向包含了：实时计算技术方向：Flink、Spark、Kafka等离线计算技术方向：Hive、Hadoop、HDFS、Hbase等语言基础技术方向：Java基础、并发、多线程、JVM、NIO、RPC等其他技术方向：数仓、数据湖、数据平台/中台等面试题相关：这个部分直

今年年前，ApacheFlink背后公司 Ververica的CEOKostasTzoumas和联合创始人FabianHueske 宣布离职，《ApacheFlink背后公司Ververica的核心成员离职》。就在昨天，又有几个核心开发人员在Twitter宣布离职，包括 AljoschaKrettek和 KostasKloudas。AljoschaKrettek是

前言在 《从0到1学习Flink》——DataSource介绍 文章中，我给大家介绍了FlinkDataSource以及简短的介绍了一下自定义DataSource，这篇文章更详细的介绍下，并写一个demo出来让大家理解。FlinkKafkasource准备工作我们先来看下Flink从Kafkatopic中获取数据的demo，首先

Flink-End-to-EndExactly-Once语义1.什么是状态一致性Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理，根据对状态的学习，我们知道flink是有状态的流处理，内部每个算子任务都可以有自己的状态对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的计算

【大数据面试题】Flink企业级面试题60连击群主王知无大数据技术与架构1、Flink如何保证精确一次性消费Flink保证精确一次性消费主要依赖于两种Flink机制1、Checkpoint机制2、二阶段提交机制Checkpoint机制主要是当Flink开启Checkpoint的时候，会往Source端插入一条barrir，然

A1报错A2原因没有导入相应包A3解决在算子前添加importorg.apache.flink.api.scala._

前言DataSources是什么呢？就字面意思其实就可以知道：数据来源。Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink就能够一直计算下去，这个DataSources

前面文章我们已经知道Flink是什么东西了，安装好Flink后，我们再来看下安装路径下的配置文件吧。安装目录下主要有flink-conf.yaml配置、日志的配置文件、zk配置、FlinkSQLClient配置。flink-conf.yaml基础配置1# jobManager 的IP地址2jobmanager.rpc.address: localhos

Flink流处理为什么需要网络流控？分析一个简单的Flink流任务，下图是一个简单的Flink流任务执行图：任务首先从Kafka中读取数据、map算子对数据进行转换、keyBy按照指定key对数据进行分区（相同key的数据经过keyBy后分到同一个subtask实例中），keyBy后对数据接着进行map转

前言在第一篇介绍Flink的文章 《《从0到1学习Flink》——ApacheFlink介绍》 中就说过Flink程序的结构Flink应用程序结构就是如上图所示：1、Source:数据源，Flink在流处理和批处理上的source大概有4类：基于本地集合的source、基于文件的source、基于网络套接字的sour

前言之前在 Flink从0到1学习——Flink不可以连续Split(分流)？ 讲过Flink使用连续的Split会有问题，当时提供了几种解决方法，有一种方法就是使用SideOutput来进行，当时留了个余念，那么就在这篇文章详细的讲一波，教大家如何使用SideOutput来分流。SideOutput通常我们在处理

Flink1.8.0重大更新-Flink中State的自动清除详解群主王知无大数据技术与架构导读：基于时间的状态访问和对应用程序状态大小进行控制是有状态流处理领域中的常见问题和挑战。Flink的1.8.0版本通过添加对过期状态对象的连续后台清理的支持，显著改进了状态TTL功能。新的清理

数据湖解决方案关键一环，IceBerg会不会脱颖而出？大数据技术与架构大数据技术与架构小编在之前的详细讲解过关于数据湖的发展历程和现状，《我看好数据湖的未来，但不看好数据湖的现在》，在最后一部分中提到了当前数据湖的解决方案中，目前跳的最凶的三巨头包括：Delta、ApacheIceberg和

前言在上一篇博客中，我们对欺诈检测引擎的目标和所需要的功能进行了描述，我们还描述了如何基于可修改的规则而不是使用硬编码的KeysExtractor实现Flink应用程序的数据自定义分区。我们在上篇博客中特意省略了有关如何初始化应用的规则以及如何在作业运行时更新的细节，在本文我们将

当一个应用程序需求比较简单的情况下，数据转换涉及的operator（算子）可能不多，但是当应用的需求变得越来越复杂时，可能在一个Job里面算子的个数会达到几十个、甚至上百个，在如此多算子的情况下，整个应用程序就会变得非常复杂，所以在编写FlinkJob的时候要是能够随时知道Job的执行计划

Kudu是现在比较火的一款存储引擎，集HDFS的顺序读和HBase的随机读于一身，非常适合物流网场景，刚刚到达的数据就马上要被终端用户使用访问到,未来还要做大规模的数据分析。kudu适合的场景（以下内容来自网络）：1.适用于那些既有随机访问,也有批量数据扫描的复合场景2.CPU密集型的场

一.前言官方提供了获取执行计划的WEB页面.入口:https://flink.apache.org/visualizer/二.使用2.1.获取执行计划json字符串.获取执行计划的json字符串很简单.就是在代码里面加一个输出就行了.System.out.println(env.getExecutionPlan());在这里插入图片描述

简介： 数据接入与传输作为打通数据系统与业务系统的一道桥梁，是数据系统与架构中不可或缺的一个重要部分。数据传输系统稳定性和准确性，直接影响整个数据系统服务的SLA和质量。此外如何提升系统的易用性，保证监控服务并降低系统维护成本，优雅应对灾难等问题也十分重要。数据接入

org.apache.hadoop.yarn.client.RMProxy-ConnectingtoResourceManagerat/0.0.0.0:8032问题flink-session启动无法连接到hadoop的resourceManager尝试重新连接Retryingconnecttoserver:0.0.0.0/0.0.0.0:8032.Alreadytried0time(s)失败.2021-03-1907:43:15,103W

 目录前言问题描述问题定位checkpoint的基本原理思路现象问题解决前言Flink容错机制的核心部分是绘制分布式数据流和操作员状态的一致快照。这些快照充当一致的检查点，如果发生故障，系统可以回退到这些检查点。Flink绘制这些快照的机制在“分布式数据流的轻量级异步快

1、搭建maven工程1）pom文件自动生成，版本信息，元数据信息引入依赖，flinkscala、flink-streaming-scala...引入插件，编译打包，管理生命周期，scala-maven-plugin编译用，打包插件maven-assembly-plugin和jar-with-dependencies... 2)demo示例https://www.bilibili.com/video/

               

1.简单介绍目前所能理解的程度（持续更新），知道Flink中有三种流，DataStream,AllWindowedStream,KeyedStream,WindowedStream。1.1DataStream经过以下方法可以转化为AllWindowedStream //1.TimeWindow之滚动窗口deftimeWindowAll(size:Time):AllWindowedStream[T,Tim

flink执行keyBy操作出现异常情况：Exceptioninthread"main"org.apache.flink.api.common.InvalidProgramException:Thistype(GenericType<com.hmh.entity.SensorEntity>)cannotbeusedaskey. atorg.apache.flink.api.common.operators.Keys$ExpressionKeys