微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

zookeeper kafka迁移后logstash消费不了Kafka消息

zookeeper和kafka安装在同3台机器上,组成一个集群,对外提供服务

因为种种原因,需要将kafka和zookeeper 做整体迁移

首先 申请3台机器部署好zookeeper服务,加到原来的集群中,方法见上篇Zookeeper迁移(扩容/缩容)

将kafka也加入到现有的集群中,将数据迁移到新的broker中

将老的3台zookeeper 和kafka下线,发现kafka的就无法消费数据,logstash启动报错

image.png


解决方法

进入zookeeper 运行zkCli.sh 

运行ls /brokers/topics 查看主题

image.png

然后运行 rmr /brokers/topics/__consumer_offsets 

image.png

然后重启kafka集群就好了

nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &

image.png



__consumer_offsets数据没有迁移,所有偏移量还是连接老的borker,所以才会出现客户端无法消费的现象

image.png


版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐