如何统计消费者开启到结束期间一共拉取的消息总数?
有没有一个api能够直接统计消费者开启到结束期间一共拉取的消息总数?
因为有一个需求是当拉取的消息数为max时,停止拉取。
如果你的消费者从一开始就进行消费,那可以通过以下命令来查看:
## 显示某个消费组的消费详情(0.10.1.0版本+) bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
ps:kafka默认7天清理一次数据,所以你的消费者不能有中断,不然数据就不准了。
消费者是流式的,一直在拉取数据,一次拉取一个批次(约2000条),然后进行处理的,你取总体的最大数,虽然不知道你做什么,你可以基于每条消息的offset,这个是线性递增的,当前消息的下标,也是该条消息从开始到现在的总数。
offset
找不到想要的答案?提一个您自己的问题。
0 声望
这家伙太懒,什么都没留下
如果你的消费者从一开始就进行消费,那可以通过以下命令来查看:
## 显示某个消费组的消费详情(0.10.1.0版本+) bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
ps:kafka默认7天清理一次数据,所以你的消费者不能有中断,不然数据就不准了。
消费者是流式的,一直在拉取数据,一次拉取一个批次(约2000条),然后进行处理的,你取总体的最大数,虽然不知道你做什么,你可以基于每条消息的
offset
,这个是线性递增的,当前消息的下标,也是该条消息从开始到现在的总数。你的答案