kafka同一分区的消息的offset是否连续。

℡点点滴滴__ 发表于: 2018-02-12   最后更新时间: 2018-02-12 21:48:07   7,988 游览

Kafka主题,同一个分区的消息的偏移量(offset)一定是连续的吗?

发表于 2018-02-12
添加评论

offset是跟消费者组有关,每个消费者组保存自己的offset。

这个offset跟分区中的消息的位置position,对应的吗?position是连续的吗?日志清理时,会把相同key的消息做压缩清理,那消息的位置标号是不是就不连续了?

对应的。给你一篇文章,里面有详细介绍。
https://www.orchome.com/23

跟情况来指定是否连续,默认连续。
比如电话号码,是保留最新的电话,还是变更的整个过程都需要。看你的需求了。

你好大哥,我还有个问题,就是我用kafka客户端消费时,我是手动提交偏移量的,把主题上的数据全部消费完,我重启客户端,让它再次消费,发现消费到上一次提交过offset的数据(起码我在代码里是提交offset了的),多试几次也是一样。这是咋回事呢?

是不是自动提交开着呢。

大哥,新年好!我是把enable.auto.commit设置false了的

你也新年好,你看下这篇文章中的,手动控制偏移量的代码片段。
先以文中的例子做测试,如果不行,贴代码出来。
https://www.orchome.com/451

你的答案

查看kafka相关的其他问题或提一个您自己的问题