# 前言 现有主流消息中间件都是生产者-消费者模型，主要角色都是：Producer -> Broker -> Consumer，上手起来非常简单，但仍有需要知识点需要我们关注，才能避免一些错误的使用情况，或者使用起来更加高效，例如本篇要讲的kafka分区分配策略。 在开始前我们先简单回顾

错误的根源是：kafka版本过高所致，2.2+=的版本，已经不需要依赖zookeeper来创建/查看topic，新版本使用--bootstrap-server替换老版本的--zookeeper-server，即可解决。

DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。以上代码执行后在，在对应的Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中都有对应的数据。在Iceberg-DWS层中对应的表中也有数据。

不多BB讲原理，只教你怎么用，看了全网没有比我更详细的了，yml 配置，Config 工厂代码配置都有，batch-size、acks、offset、auto-commit、trusted-packages、poll-timeout、linger 应有尽有，批量消费、开启事务、定义批量消费数量、延时发送、失败重试、异常处理你还想要什么As we all know，当今世界最流行的消息中间件有 RabbitMq、RocketMq、Kafka，其中，应用最广泛的是RabbitMq，RocketMq。

终于写完了，其实最开始学kafka的时候是今年2月份，那时候还不懂什么是IO，看源码的通信基本看不懂后来，花了几个月的时间学了操作系统 --> 计算机网络 --> Linux 通信 --> Java NIO --> Netty，现在看Kafka的通信就变得通透了。另外，基本现在所有源码的通信都有Netty架构的影子所以，如果你也想学源码的话，最好是先看看Netty的相关知识，学完之后，你会发现，通信架构不过如此。如果你能看到这，想必已经跟完了整个Producer网络架构就是整个生产者运行的全部流程。

使用GPKafka实现Kafka数据导入Greenplum数据库踩坑问题记录（不断更新ing）

uniapp 超详细教程（从菜鸟到大佬）

用了100+天总结出来的Flink学习笔记

基于Java API方式使用Kafka

本章我们讲述了Kafka生产端为了避免频繁的GC，创建了缓存池的机制当生产端申请的内存为16KB时，从缓存池中取缓存使用，非16KB则取不可复用的ByteBuffer使用我们在生产中要尽量避免不可复用的ByteBuffer的产生，根据当前的业务去调整batch.size的大小，否则容易造成频繁的GC，影响我们的线上业务。下一章我们将会更新Kafka 生产端的网络 I/O 模型喜欢kafka的可以点个关注吆，后续会继续更新其源码文章。

主要介绍Springboot如何集成Kafka Stream以及微服务项目中如何利用Kafka Stream流式计算实现文章热度实时更新。

评论抽奖送书。你兔老大本系列用大白话，手把手带你实现上百个BAT公司内部真实的常用中型系统。

推荐10个能够提高开发人员开发效率的10个工具

Sentry权限管理hive、hue、hdfs等

在上一篇文章中,我们分析了JoinGropRequest的流程,详细请看Kafka消费者JoinGroupRequest流程解析那么我们知道,在执行完了JoinGroupRequest之后, 所有的Member都对消费组协调器发起了SyncGroupRequest请求那么SyncGroup具体做了哪些事情呢？我们今天来一起分析一下！当我们JoinGroup完成之后, 消费者客户端收到了Response, 然后就会立马发起SyncGroupRequest相关代码如下JoinGroupResponseHandl

以上两个方面中第一个方面需要再Hive中预先创建对应的Iceberg表，才能写入，第二个方面不好分辨topic“KAFKA-DB-BUSSINESS-DATA”中哪些binlog数据是事实数据哪些binlog是维度数据，所以这里我们在mysql 配置表“lakehousedb.dim_tbl_config_info”中写入表信息，这样通过Flink获取此表维度表信息进行广播与Kafka实时流进行关联将事实数据和维度数据进行区分。在Iceberg-ODS层中对应的表中也有数据。...

通过一个简单的应用场景，体验kafka在Windows服务器中单节点配置的全过程，看完你也会用kafka了，面试可以自信的说我用过。

最近在做微服务的迁移改造工作，其中有一个服务需要订阅多个Kafka，如果使用spring kafka自动配置的话只能配置一个Kafka，不符合需求，该文总结了如何配置多个Kafka，希望对您有帮助。

本文详细阐述了以三种不同的方式查看kafka服务是否正常启动，它们分别是：1）jps -ml；2）lsof -i:9092；3）netstat -nalpt | grep 9092；

cloudera manager console实战flume采集kafka数据

Kafka 是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。Kafka 0.9版本之前，offset存储在zookeeper，0.9版本及之后，默认将offset存储在Kafka的一个内置的topic中。除此之外，Kafka还可以选择自定义存储offset。offset的维护是相当繁琐的，因为需要考虑到消费者的Rebalace。

由taildir source读取数据，发送给kafka channel，因为是kafka channel，因此将数据存储到kafka的topic里面，hdfs sink从kafka channel里面读数据，发现是kafka channel，则从kafka当中要读的数据读出来，发送给hdfs sink。hdfs sink从kafka channel里面读数据，发现是kafka channel，则从kafka当中要读的数据读出来，发送给hdfs sink。kafka source ：下面有详细的说明。

超详细的Docker安装Kafka教程

windows 安装kafka流程

扩缩副本功能是原生Kafka没有的功能，或者说是没有直接提供的功能。但是对于扩缩副本这么一个操作功能, 是属与平时不会用, 想用的时候干着急。比如一开始你的Topic副本数填的是1, 运行了一段时间之后发现, 1的副本可不行啊, 高可用性大大降低, 需要扩副本。但是你想要扩副本的时候才发现, kafka并没有提供此类功能, 处境很尴尬现在,用Know Streaming 这个将不再是问题！如果你想扩缩副本操作之后 副本应该分配在哪些节点中，则可以在下面这里设置。

大家好，我是爱敲代码的小黄，独角兽企业的Java开发工程师，Java领域新星创作者。这是我的系列专栏：Kafka 从成神到升仙。如果文章知识点有错误的地方，请指正！和大家一起学习，一起进步。如果感觉博主的文章还不错的话，请三连支持一下博主哦。

1.SparkStreaming提供了一个高级抽象的流，即DStream(离散流)。2.DStream的内部结构是由一系列连续的RDD组成，每个RDD都是一小段由时间分隔开来的数据集。

Kafka是由Apache软件基金会开发的一个开源流处理平台,它使用Scala和Java语言编写，是一个基于Zookeeper系统的分布式发布订阅消息系统，该项目的设计初衷是为实时数据提供一个统一、高通量、低等待的消息传递平台。①、Kafka的众多优点：其优点具体：(1)解耦。Kafka 具备消息系统的优点,只要生产者和消费者数据两端遵循接口约束，就可以自行扩展或修改数据处理的业务过程。(2)高吞吐量、低延迟。即使在非常廉价的机器上,Kafka也能做到每秒处理几十万条消息，而它的延迟最低只有几毫

这篇文章主要介绍了Kafka消息规范的示例分析，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解

这篇文章主要为大家展示了“Kafka日志清理策略有哪些”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Kafka日志...