kafka同一分区的消息的offset是否连续。

Kafka主题,同一个分区的消息的偏移量(offset)一定是连续的吗?







发表于: 7月前   最后更新时间: 7月前   游览量:1092
上一条: 如何使已不同步的节点重新同步时入ISR?
下一条: kafka根据时间戳消费或者消费指定时间内的数据

评论…


  • offset是跟消费者组有关,每个消费者组保存自己的offset。
    • 这个offset跟分区中的消息的位置position,对应的吗?position是连续的吗?日志清理时,会把相同key的消息做压缩清理,那消息的位置标号是不是就不连续了?
        • 对应的。给你一篇文章,里面有详细介绍。
          http://orchome.com/23

          跟情况来指定是否连续,默认连续。
          比如电话号码,是保留最新的电话,还是变更的整个过程都需要。看你的需求了。
            • 你好大哥,我还有个问题,就是我用kafka客户端消费时,我是手动提交偏移量的,把主题上的数据全部消费完,我重启客户端,让它再次消费,发现消费到上一次提交过offset的数据(起码我在代码里是提交offset了的),多试几次也是一样。这是咋回事呢?
              • 评论…
                • in this conversation