博主,您好: 想请教个kafka副本扩容问题:(2个broker,2个分区,1个副本) 今天创建了一个topic,指定了2个分区,1个副本,后来想把副 本修改为2个,按照操作步骤执行: 1、创建json文件 { "partitions": [ { "topic":"queue", "partition": 0, "replicas": [1,2] }, { "topic": "queue", "partition": 1, "replicas": [2,1] } ], "version":1} 2、./bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file test.json --execute
3、./bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file test.json --verify
以上操作,终端都没提示错误,都正常执行但是当我停掉其中一台kafka后,消费者就消费不到数据了,这种情况我不知道如何排查了,希望博主能帮我看看
zookeeper挂了,影响你了? 如果是kakfa节点挂了影响,还是会的。0.9版本以后,消费者的偏移量都存储在了kafka中,__consumer_offsets 这种topic。 你可以查看以下副本数,没有单节点,则就会导致挂了一台kakfa就无法访问的情况。可增加副本数,解决此问题。方法如下:https://www.orchome.com/454
找不到想要的答案?提一个您自己的问题。
0 声望
这家伙太懒,什么都没留下
博主,您好:
想请教个kafka副本扩容问题:(2个broker,2个分区,1个副本)
今天创建了一个topic,指定了2个分区,1个副本,后来想把副 本修改为2个,按照操作步骤执行:
1、创建json文件
{
"partitions":
[
{
"topic":"queue",
"partition": 0,
"replicas": [1,2]
},
{
"topic": "queue",
"partition": 1,
"replicas": [2,1]
}
],
"version":1
}
2、./bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file test.json --execute
3、./bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file test.json --verify
以上操作,终端都没提示错误,都正常执行
但是当我停掉其中一台kafka后,消费者就消费不到数据了,这种情况我不知道如何排查了,希望博主能帮我看看
zookeeper挂了,影响你了? 如果是kakfa节点挂了影响,还是会的。
0.9版本以后,消费者的偏移量都存储在了kafka中,__consumer_offsets 这种topic。 你可以查看以下副本数,没有单节点,则就会导致挂了一台kakfa就无法访问的情况。
可增加副本数,解决此问题。方法如下:
https://www.orchome.com/454
你的答案