如何统计kafka消费者开启到结束期间一共拉取的消息总数?

the prayer 发表于: 2021-05-26   最后更新时间: 2021-05-26 19:41:23   1,640 游览

如何统计消费者开启到结束期间一共拉取的消息总数?

有没有一个api能够直接统计消费者开启到结束期间一共拉取的消息总数?

因为有一个需求是当拉取的消息数为max时,停止拉取。

发表于 2021-05-26
添加评论

如果你的消费者从一开始就进行消费,那可以通过以下命令来查看:

## 显示某个消费组的消费详情(0.10.1.0版本+)
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

ps:kafka默认7天清理一次数据,所以你的消费者不能有中断,不然数据就不准了。

消费者是流式的,一直在拉取数据,一次拉取一个批次(约2000条),然后进行处理的,你取总体的最大数,虽然不知道你做什么,你可以基于每条消息的offset,这个是线性递增的,当前消息的下标,也是该条消息从开始到现在的总数。

你的答案

查看kafka相关的其他问题或提一个您自己的问题