没有做过这样的逻辑, 但应该是可行的, 很好奇flink达到性能瓶颈的原因是啥?
这个代码不对, 你应该使用kafkaConmsumer.endOffsets
来读取 LEO(更准确的说应该是ISR里的HW), 如若你要使用seekToEnd()
, 你在这个方法之前一定要先提前调用consumer.poll(0)
应消费的元数据保存在__consumer_offstes
中的位置, 在这之后, 你才可以正常使用seekToBegin/seekToEnd
个人觉得应该分清 commitedOffset 和 endOffset, 如果只是说 offset, 会让人同意混淆新加入的 consumer group的起始消费位置