这篇文章主要为大家展示了“Kafka常用开发、运维命令有哪些”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Kafka常用开发、运维命令有哪些”这篇文章吧。
常用命令：
1.查看帮助
/usr/hdp/2.6.3.0-235/kafka/bin/kafka-topics.sh --help
2.查看当前集群所有topic
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --list
3.查看topic详细信息 (kafkawordcount)
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 -describe -topic kafkawordcount
4.查看kafka集群详细信息
./kafka-topics.sh -zookeeper salver31.hadoop.unicom:2181 --describe
5.新建topic
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --create --topic topic001 --partitions 1 --replication-factor 1 --config max.message.bytes=64000 --config flush.messages=1
注：
与主题相关的配置默认使用全局缺省值,也可通过--config key=value的形式对全局缺省值进行覆盖。上面的topic1自定义了最大消息大小和刷新速度。
6.修改topic配置：
可以使用alter topic命令更改或设置覆盖。
更新分区数：
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --alter --topic topic001 --partitions 2
更新my-topic的最大消息大小:
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --alter --topic topic001 --config max.message.bytes=128000
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --alter --topic topic001 --delete-config max.message.bytes
7.查看topic各个分区消息的数据量：
./kafka-run-class.sh kafka.tools.GetoffsetShell --broker-list salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic kafkawordcount --time -1
8.查看log日志消息内容:
./kafka-run-class.sh kafka.tools.DumpLogSegments --files /kafka-logs/kafkawordcount-0/00000000000000000000.log --print-data-lo
9.Producer发送消息：
./kafka-console-producer.sh --broker-list salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic topic001
10.Consumer接收消息：
./kafka-console-consumer.sh --bootstrap-server salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --from-beginning --topic kafkawordcount
接收消息，三个常用参数：
consumer-property 参数以键值对的形式指定消费者级别的配置。
from-beginning 设置消息起始位置开始消费。默认是从新位置 latest开始消费
delete-consumer-offsets 删除在zookeeper中记录已消费的偏移量
带参数Consumer接收消息：
./kafka-console-consumer.sh --bootstrap-server salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic kafkawordcount --consumer-property group.id=consumerGroup1 --consumer-property consumer.id=consumerId1 --from-beginning --delete-consumer-offsets
11.查看topic某个消费组对应的offset:
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic kafkawordcount --zookeeper localhost:2181 --group consumerGroup1
12.查看topic最大offset:
/usr/hdp/2.6.3.0-235/kafka/bin/kafka-run-class.sh kafka.tools.GetoffsetShell --broker-list salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic test511 --time -2
查看最小offset
/usr/hdp/2.6.3.0-235/kafka/bin/kafka-run-class.sh kafka.tools.GetoffsetShell --broker-list salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic test511 --time -1
.删除topic
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --delete --topic topic001
注意：
这里删除topic并没有真正删除，只是给topic标记为"deleted"，如果需要彻底删除topic，请参考kafka进阶中的文章：“kafka进阶：如何彻底删除topic及数据”。
以上是“Kafka常用开发、运维命令有哪些”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注编程之家行业资讯频道！
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
