微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何用Know Streaming 快速对Kafka Topic 完成扩缩副本操作

功能简介

扩缩副本功能是原生Kafka没有的功能,或者说是没有直接提供的功能

但是对于扩缩副本这么一个操作功能,是属与平时不会用,想用的时候干着急。

比如一开始你的Topic副本数填的是1,运行了一段时间之后发现,1的副本可不行啊,高可用性大大降低,需要扩副本。

但是你想要扩副本的时候才发现,kafka并没有提供此类功能,处境很尴尬

现在,用KNow Streaming 这个将不再是问题!

操作流程

①. Topic - > 批量变更 -> 迁移副本

在这里插入图片描述

②. 填写想要扩缩副本的Topic(可多选)

在这里插入图片描述

操作亮点

一次扩缩多个Topic

设置的时候可以一次性选择多个Topic进行副本的扩缩,并且每个Topic可以设置不同的副本数

在这里插入图片描述

自定义副本目标节点

如果你想扩缩副本操作之后 副本应该分配在哪些节点中,则可以在下面这里设置。

注:目标节点的数量一定是要大于等于 已选择Topic最终副本的最大数量的哦

比如一个topic 扩至2 一个扩至3. 那么目标节点一定要大于等于3

在这里插入图片描述

可预览扩缩副本的计划并手动修改

你可能想了解一下,扩缩之后的分配情况是什么样子的,那么你可以点击 预览任务计划

在这里插入图片描述

可以看到你可以针对每个Topic的每个分区的分配情况手动调节(一般情况是不需要的,除非你知道你做的是什么)

这个功能不仅能让你知道最终的分配情况,还能让你手动指定broker还有顺序。

这个有什么用呢?

假如你想指定某个副本为leader,按照优先副本的选举策略,你是不是就可以把你想要成为leader副本的那个调整到最前面。

限流扩缩

扩缩副本的时候,本质上就是 副本的复制和副本的删除流程。

为了防止整个过程对正常业务的影响,这里可以让你设置整个过程的限流阈值。

减少对集群的压力

实现原理

副本的扩缩,本质上就是执行了一次分区副本重分配。

关于分区副本重分配流程请看: 分区副本重分配流程

KNow Streaming介绍

KNow Streaming脱胎于互联网公司内部多年的Kafka运营实践经验,通过0侵入、插件化构建企业级Kafka服务,极大降低操作、存储和管理实时流数据门槛
不会对Apache Kafka做侵入性改造,就可纳管0.10.x-3.x集群版本,帮助您提升集群管理水平;我们屏蔽了流处理的复杂性,让普通运维人员都能成为流处理专家

Know Streaming Github

Know Streaming 官网

如何参与共建

如何快速优雅的用Know Streaming创建Topic

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐