kafka 过期数据清理问题

小夕夕 发表于: 2019-12-02   最后更新时间: 2019-12-04 13:49:06   3,250 游览

这两天线上磁盘告警,查看了下是kafka数据占的磁盘较多,按每天线上的数据流水来看,应该不会出现磁盘不够用的情况,(我们现在是两副本,2分区,设置的过期策略是1天),有办法看看是不是过期数据没有清理掉的么?

发表于 2019-12-02

通过命令重置消费者组,消费主题里的消息,确认最早的消息是什么时候的(注意,消费者组自己建个新的,别错了!)。

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --reset-offsets --group consumergroup1 --topic topic1 --to-earliest

参考:https://www.orchome.com/35

另外,就是查看kafka的文件目录

log.dirs=/tmp/kafka-logs

你进到这个目录。找到对topic,看看文件的创建时间就知道了。

你的答案

查看kafka相关的其他问题或提一个您自己的问题