这两天线上磁盘告警,查看了下是kafka数据占的磁盘较多,按每天线上的数据流水来看,应该不会出现磁盘不够用的情况,(我们现在是两副本,2分区,设置的过期策略是1天),有办法看看是不是过期数据没有清理掉的么?
通过命令重置消费者组,消费主题里的消息,确认最早的消息是什么时候的(注意,消费者组自己建个新的,别错了!)。
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --reset-offsets --group consumergroup1 --topic topic1 --to-earliest
参考:https://www.orchome.com/35
另外,就是查看kafka的文件目录
log.dirs=/tmp/kafka-logs
你进到这个目录。找到对topic,看看文件的创建时间就知道了。
你的答案