kafka 消费端问题

大湿兄 发表于: 2016-11-18   最后更新时间: 2016-11-18  
  •   3 订阅,337 游览

每次kafka 消费端 启动后 消费者接收到的Offset又变为0了,,消费端是手动commit,不管有没有消费完都提交, 服务器配置为auto.offset.reset=earliest 0.10版本







发表于: 3月前   最后更新时间: 3月前   游览量:337
上一条: ReplicaManager一直报...failed due to partition[_consumer_offsets,16]doesn't exist ...,一个小时会产生几十G的日志,请问是什么原因造成的?
下一条: kafka消费时候,报Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. T
评论…

  • 你是如何消费的呢?group Id变了没?
    • 我从日志里发现了另外一个奇怪的现象,TOPIC_A 共 9个分区(0-8),三台kafka服务器,设置了9个消费者,从消费者的日志里发现,只有接收到0和1分区的记录,都是从offset 0 开始,直到消费完(消费完的offset为2000多),其他的则没有问题,offset是均衡的,其他分区的当前offset也为2000多。这是正常的
      • 评论…
        • in this conversation
          提问