Kafka消息的消费问题,如何消费到历史数据

听风ᵎ(•̀㉨•́)و ̑̑ 发表于: 2024-06-21   最后更新时间: 2024-06-21 11:09:51   584 游览

我先创建了生产者和消费者,消费了五条消息后关闭消费者,再向同一个topic写入了消息,再启动Java这边的消费者没有从原来的offset=5开始直接变成了最新消息位置,配置里也配置了从原先消费的记录

发表于 2024-06-21
添加评论

跟订报纸一样,当你从订阅报纸的那一刻,报社才知道你,后续的报纸才会发送给你(之前的不会给你),所以你需要优先启动消费者。

如果java想从头开始读取,可以将offset设置成最新的。

为了从头开始消费消息,你需要设置消费者组的偏移量策略。Kafka 提供了两个主要的偏移量重置策略:

  • earliest: 从最早的偏移量开始读取消息。
  • latest: 从最新的偏移量开始读取消息。

如:

properties.setProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
你的答案

查看kafka相关的其他问题或提一个您自己的问题