OrcHome OrcHome
OrcHome个人中心.

原野

已关注 关注

关注

暂无关注.....

粉丝

暂无粉丝.....


solo 回复 原野 kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 中:
我明白你的意思了,应该是这么回事
3月前
原野 回复 solo kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 中:
一个消费者组消费消息的offset只会存在__consumer_offsets 里的一个分区上面,所以如果副本只有一份,那就只会在特定的broker上
3月前
solo 回复 原野 kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 中:
Topic:__consumer_offsets    PartitionCount:50    ReplicationFactor:1    Configs:segment.bytes=104857600,cleanup.policy=compact,compression.type=producer
    Topic: __consumer_offsets    Partition: 0    Leader: 2    Replicas: 2    Isr: 2
    Topic: __consumer_offsets    Partition: 1    Leader: 0    Replicas: 0    Isr: 0
    Topic: __consumer_offsets    Partition: 2    Leader: 1    Replicas: 1    Isr: 1
    Topic: __consumer_offsets    Partition: 3    Leader: 2    Replicas: 2    Isr: 2


但是从这里可以看到,并没有所有partion都在一个broker上,三个broker都有offset的分区.所以你说 "当刚好是这个leader的broker挂掉时,即使其他broker竞选成功为leader,他那里也没有消费者的offsets信息" 似乎并不成立
3月前
原野 kafka broker1挂掉,消费者无法消费,其他broker挂掉,消费者可以消费 发表评论:
该问题已经解决
http://orchome.com/805

3月前
原野 kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 发表评论:
offsets.topic.replication.factor为1的时候,不管__consumer_offsets分区怎么分布,
反正只要首个启动的broker存活,集群就能工作......

这个是因为消费者消费offsets topics的副本如果只存在leader里存了一份,当刚好是这个leader的broker挂掉时,即使其他broker竞选成功为leader,他那里也没有消费者的offsets信息
3月前
原野 回复 solo kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 中:
问题已经解决,多谢

3月前
solo 回复 原野 kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 中:
要在zk里面把__consumer_offsets节点和下面的所有节点都删掉,再重新启动集群做消费
3月前
原野 kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 发表评论:
你好,我也出现了一样的问题

但是很奇怪的时,我把offsets.topic.replication.factor已经设置为2和3了,但是broker1挂掉时消费者还是无法消费,其他broker2或broker3挂掉没有关系;
另外奇怪的是,offsets.topic.replication.factor设置为3后,查看__consumer_offsets的每个分区的副本数,还是只有一个,我是否要删掉__consumer_offsets再重新创建呢?
3月前
发表了 kafka broker1挂掉,消费者无法消费,其他broker挂掉,消费者可以消费
3月前

solo 回复 原野 kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 评论:
我明白你的意思了,应该是这么回事
3月前
原野 回复 solo kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 评论:
一个消费者组消费消息的offset只会存在__consumer_offsets 里的一个分区上面,所以如果副本只有一份,那就只会在特定的broker上
3月前
solo 回复 原野 kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 评论:
Topic:__consumer_offsets    PartitionCount:50    ReplicationFactor:1    Configs:segment.bytes=104857600,cleanup.policy=compact,compression.type=producer
    Topic: __consumer_offsets    Partition: 0    Leader: 2    Replicas: 2    Isr: 2
    Topic: __consumer_offsets    Partition: 1    Leader: 0    Replicas: 0    Isr: 0
    Topic: __consumer_offsets    Partition: 2    Leader: 1    Replicas: 1    Isr: 1
    Topic: __consumer_offsets    Partition: 3    Leader: 2    Replicas: 2    Isr: 2


但是从这里可以看到,并没有所有partion都在一个broker上,三个broker都有offset的分区.所以你说 "当刚好是这个leader的broker挂掉时,即使其他broker竞选成功为leader,他那里也没有消费者的offsets信息" 似乎并不成立
3月前
原野 kafka broker1挂掉,消费者无法消费,其他broker挂掉,消费者可以消费 发表评论:
该问题已经解决
http://orchome.com/805

3月前
原野 kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 发表评论:
offsets.topic.replication.factor为1的时候,不管__consumer_offsets分区怎么分布,
反正只要首个启动的broker存活,集群就能工作......

这个是因为消费者消费offsets topics的副本如果只存在leader里存了一份,当刚好是这个leader的broker挂掉时,即使其他broker竞选成功为leader,他那里也没有消费者的offsets信息
3月前
原野 回复 solo kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 评论:
问题已经解决,多谢

3月前
solo 回复 原野 kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 评论:
要在zk里面把__consumer_offsets节点和下面的所有节点都删掉,再重新启动集群做消费
3月前
原野 kafka高可用失败问题:3broker,单杀一个broker就不能消费的问题探讨 发表评论:
你好,我也出现了一样的问题

但是很奇怪的时,我把offsets.topic.replication.factor已经设置为2和3了,但是broker1挂掉时消费者还是无法消费,其他broker2或broker3挂掉没有关系;
另外奇怪的是,offsets.topic.replication.factor设置为3后,查看__consumer_offsets的每个分区的副本数,还是只有一个,我是否要删掉__consumer_offsets再重新创建呢?
3月前