Kafka的消息记录留存策略及配置是怎样的

本篇文章为大家展示了Kafka的消息记录留存策略及配置是怎样的，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。

broker中的几个重要配置项

• log.retention.check.interval.ms

• log.retention.hours

• log.segment.bytes

• log.roll.hours

消息记录留存执行基本逻辑

• kafka的消息存放在segment文件中

• kafka处理过期数据的操作对象是segment，处理方式为压缩或删除，或压缩与删除联合

1. 写入数据

• 1.1 当前partition收到producer第一条要记录的消息, 如果没有segment，则kafka会新建segment

• 1.2 检查要写入的segment最后一条插入数据的时间戳: 如果大小大于log.segment.bytes配置的大小，则不再写入，并创建新的segment，并将写入游标指向新建的segment

• 1.3 检查要写入的segment文件的大小: 如果segment的创建时间距当前时间大于log.roll.hours配置的时间，则不再写入，并创建新的segment，并将写入游标指向新建的segment

• 1.4 写入数据到segment文件

2. 定时检查并处理过期segment文件

• 2.1 kafka根据log.retention.check.interval.ms配置项发起定时任务: 定时检查所有的segment

• 2.2 检查segment是否符合执行过期处理的条件，如果segment最近时间戳距现在时间大于log.retention.hours配置时间，则会删除该segment文件

上述内容就是Kafka的消息记录留存策略及配置是怎样的，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注编程之家行业资讯频道。