平时都是用logstash从kafka拉数据到ES,再用kibana展示。但是有时候开发不按套路生产数据,导致ES拒绝写入某些doc的mapping格式(也就是丢数据)。 我想从kafka重新拉出某个时间段的数据,比如说现在是12点,我拉1->6点的数据。 kafka-console-consumer.sh 可以传offset,但是我不知道1-6点对应的是哪个offset,有没有只给timestamp就可以获取数据的方法?
kafka python client可以指定时间戳接收消息,但是你必须要指定分区。
https://kafka-python.readthedocs.io/en/master/apidoc/KafkaClient.html
我找了一个工具 kafkacat解决了。
你的答案