kafka topic多个分区多个副本,zookeeper挂了一个,就消费不了,一个分区多个副本,挂了一个,是可以继续消费,这是为什么?

゜ eVer ㄨ 发表于: 2019-04-03   最后更新时间: 2019-04-04 20:17:36   2,987 游览
发表于 2019-04-03
添加评论

博主,您好:
想请教个kafka副本扩容问题:(2个broker,2个分区,1个副本)
今天创建了一个topic,指定了2个分区,1个副本,后来想把副 本修改为2个,按照操作步骤执行:
1、创建json文件
{
"partitions":
[
{
"topic":"queue",
"partition": 0,
"replicas": [1,2]
},
{
"topic": "queue",
"partition": 1,
"replicas": [2,1]
}
],
"version":1
}
2、./bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file test.json --execute

3、./bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file test.json --verify

以上操作,终端都没提示错误,都正常执行
但是当我停掉其中一台kafka后,消费者就消费不到数据了,这种情况我不知道如何排查了,希望博主能帮我看看

zookeeper挂了,影响你了? 如果是kakfa节点挂了影响,还是会的。
0.9版本以后,消费者的偏移量都存储在了kafka中,__consumer_offsets 这种topic。 你可以查看以下副本数,没有单节点,则就会导致挂了一台kakfa就无法访问的情况。
可增加副本数,解决此问题。方法如下:
https://www.orchome.com/454

你的答案

查看kafka相关的其他问题或提一个您自己的问题