broker-server.log不停报错

Marseille 发表于: 2016-06-12   最后更新时间: 2021-10-19 09:54:09   9,828 游览

broker-server.log不停报错

[2016-06-12 10:05:54,661] ERROR [ReplicaFetcherThread-0-1], Error for partition [testTopic,0] to broker 1:org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. (kafka.server.ReplicaFetcherThread)

后台一直在重复刷这条错误信息,无其他错误了。有没有遇到的,求解

发表于 2016-06-12
添加评论

你好,我也遇到这个问题了,请问你是如何解决的呢?我发现只要我一创建第二个topic时就会不断刷这个错误。

zookeeper要升级到3.4.6以上或更高(ps,是3.4.6还是3.4.9以上我记不大清了)。

zk是用的3.4.9的,kafka 2.10-0.10.2.0

开启acl之后,副本集除了leader副本其他的会报错这个错误;关闭acl就都不报错。

半兽人 -> Breath 7年前

检查下配置。

Breath -> 半兽人 7年前

server.properties 的配置就这些,没有增加其他

broker.id=0
delete.topic.enable=true
listeners=PLAINTEXT://172.16.40.117:9092
advertised.listeners=PLAINTEXT://172.16.40.117:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/kafka/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=hadoop3-1:2181,hadoop3-2:2181,hadoop3-3:2181/kafka01021
zookeeper.connection.timeout.ms=6000
offsets.storage=zookeeper
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
Breath -> Breath 7年前

zk是用的3.4.9的,kafka_2.11-0.10.2.1

半兽人 -> Breath 7年前

你不是用的acl么,listeners=PLAINTEXT://172.16.40.117:9092 这个就不对了呀

Breath -> 半兽人 7年前

1、acl和ssl不是独立的么?
2、我只想用acl,这里需要改么?如果需要,应该怎么改?

Breath -> 半兽人 7年前

Because of the way replication of topic partitions work internally, it is also important to grant topic access to brokers. Brokers replicating a partition will need to be authorized for both READ and DESCRIBE on that topic. DESCRIBE is granted by default with the READ authorization.

我在 https://docs.confluent.io 找到了这一段话,然后把新建topic的权限赋予所有brokers,这样就没问题了。

半兽人 -> Breath 7年前

这样就都有权限了。https://www.orchome.com/185

你用命令查看下testTopic主题的情况,分布在集群中的位置,和各个节点分布情况。

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic testTopic

kafka0.10.0.0版本问题:问题已经找到了,是broker1和分区0对应关系错乱导致,但是我想知道这种问题如何解决?手动改分区吗?还有没有更好的方式

我是谁 -> Marseille 7年前

请问,你的这个broker和分区关系错乱是怎么查出来的?

你的答案

查看kafka相关的其他问题或提一个您自己的问题