Kafka主题,同一个分区的消息的偏移量(offset)一定是连续的吗?
offset是跟消费者组有关,每个消费者组保存自己的offset。
这个offset跟分区中的消息的位置position,对应的吗?position是连续的吗?日志清理时,会把相同key的消息做压缩清理,那消息的位置标号是不是就不连续了?
对应的。给你一篇文章,里面有详细介绍。https://www.orchome.com/23跟情况来指定是否连续,默认连续。比如电话号码,是保留最新的电话,还是变更的整个过程都需要。看你的需求了。
你好大哥,我还有个问题,就是我用kafka客户端消费时,我是手动提交偏移量的,把主题上的数据全部消费完,我重启客户端,让它再次消费,发现消费到上一次提交过offset的数据(起码我在代码里是提交offset了的),多试几次也是一样。这是咋回事呢?
是不是自动提交开着呢。
大哥,新年好!我是把enable.auto.commit设置false了的
你也新年好,你看下这篇文章中的,手动控制偏移量的代码片段。先以文中的例子做测试,如果不行,贴代码出来。https://www.orchome.com/451
找不到想要的答案?提一个您自己的问题。
0 声望
这家伙太懒,什么都没留下
offset是跟消费者组有关,每个消费者组保存自己的offset。
这个offset跟分区中的消息的位置position,对应的吗?position是连续的吗?日志清理时,会把相同key的消息做压缩清理,那消息的位置标号是不是就不连续了?
对应的。给你一篇文章,里面有详细介绍。
https://www.orchome.com/23
跟情况来指定是否连续,默认连续。
比如电话号码,是保留最新的电话,还是变更的整个过程都需要。看你的需求了。
你好大哥,我还有个问题,就是我用kafka客户端消费时,我是手动提交偏移量的,把主题上的数据全部消费完,我重启客户端,让它再次消费,发现消费到上一次提交过offset的数据(起码我在代码里是提交offset了的),多试几次也是一样。这是咋回事呢?
是不是自动提交开着呢。
大哥,新年好!我是把enable.auto.commit设置false了的
你也新年好,你看下这篇文章中的,手动控制偏移量的代码片段。
先以文中的例子做测试,如果不行,贴代码出来。
https://www.orchome.com/451
你的答案