如何查看kafka中offset的有效时间?

I am here 发表于: 2021-11-17   最后更新时间: 2021-11-17 14:22:36   1,954 游览

如何查看kafka中offset的有效期,配置文件里面没有offsets.retention.minutes,是不是因为原生的kafka里面没有这个配置,需要自己添加?如果不添加,默认是24小时吗?下面图片是kafka版本信息

kafka中offset的有效时间

发表于 2021-11-17
添加评论

默认是保留7天,默认配置是config/server.properties中的

log.retention.hours=168

删除的优先级可参考所有配置:Kafka Broker配置

I am here -> 半兽人 3年前

这个是日志保留时间,offset本身也有有效期,想知道offset的过期时间是多久

半兽人 -> I am here 3年前

offset不是指一条消息的下标吗,怎么会有有效时间呢?而且只有在消息需要压缩的时候,才会被合并,参考kafka日志压缩

一条消息是有时间戳的,基于这个进行清理的。

I am here -> 半兽人 3年前

可以去看看offsets.retention.minutes这个配置

半兽人 -> I am here 3年前

是默认7天(10080小时),和清理时间一样。
offsets.retention.minutes:当一个消费者组失去其消费者后(即为空),其offset在被丢弃前将被保留这个保留期。

消费者组的offset,也存储在一个名为__consumer_offsets的主题里,同样的时间戳,也是基于这个进行清理的。

你的答案

查看kafka相关的其他问题或提一个您自己的问题