kafka根据时间戳消费或者消费指定时间内的数据

很早就想要这个功能了
每次出了问题都是换一下消费者组id,然后数据又全部重新消费一遍,很痛苦

几个场景
  1. 从当前时间往前推2个小时开始接着消费,消费完这2个小时断开
  2. 从当前时间往前推2个小时开始接着持续消费
  3. 指定个时间戳开始持续消费
  4. 指定个开始时间与结束时间消费,消费完断开





发表于: 9月前   最后更新时间: 9月前   游览量:4091
上一条: kafka同一分区的消息的offset是否连续。
下一条: zookeeper设置了ACL,kafka操作节点(NoAuth)

评论…


  • demo地址
    https://blog.csdn.net/feloxx/article/details/79414475
    使用KafkaConsumer.offsetsForTimes要确认集群已开启log.message.timestamp.type参数,并且clien要使用0.10.*的客户端发送数据,数据格式和0.9不同了。
    使用KafkaConsumer.offsetsForTimes。
  • 评论…
    • in this conversation