还有,负数
还有一种是你的log删除策略,kafka会默认删除7天前的日志,如果你的消费者很长时间没起,数据已经被清理了,也会导致你看到负数。
这条消费命令,每次会从头开始消费topic的消息,--from-beginning
控制的。
另外,不说从头开始消费的问题,如果你一直持续收1条消息,说明你的生产者(logstash)持续发送同一条消息。
不是监控,是(./kafka-consumer-groups.sh --bootstrap-server 172.19.167.197:9092 --describe --group logstash_playlist_pr6)这个命令看到的,不正常的那几个分区就是一直在刷一条消息(就是我最初提的问题:kafka消费者控制台不停打印一条消息?(用这个监控的:./kafka-console-consumer.sh --bootstrap-server 172.19.167.197:9092 --from-beginning --topic topic-playlist-words6 ))
一般出现负数
是因为topic分区的消息和统计的消息不匹配,这种现象常见是在kakfa集群某个分区故障,数据是新的。
如果是kafka第三方监控统计的。重启下监控,也会恢复正常(第三方监控会缓存一些统计信息)。
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID