Producer 发送消息时报错:Error while fetching metadata with correlation id 17 : {TEST=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

淺藍銫dē雨 发表于: 2018-08-31   最后更新时间: 2018-08-31 17:26:02   20,097 游览

这个问题我看有人遇到过,但是解决方案对我来说都没有用。

我排查过了一些问题,首先
1、zookeeper是能够正常连接的,且能够查看到broker的信息,和topic的信息。
2、topic已经创建。
3、listeners和host.name是之类的都添加过也没有用。

好崩溃啊,还有可能是神码问题呢?

发表于 2018-08-31
添加评论

如果你都试过还没有效果:
1、ping系统的计算机名,能ping通,解析成本机内网ip。
2、清理所有kafka日志,zk临时日志,重新搭建集群。(之前有人出现过脏数据导致集群异常)
3、listeners使用ip,不要使用计算机名称(因为客户端也要配置对应的计算机名称,先配ip,等测试通过了,你就可以随便折腾了)
4、使用ip,来启动kakfa生产和消费者命令。 localhost换成你listeners配置的。

是的,这些都试过了。另外我是用cloudera manager通过parcel安装的kafka,server.properites似乎不会被用到。另外我查看了下log,报的错误是controller一直无法连通brokers:

2018-09-03 14:14:22,336 WARN kafka.controller.RequestSendThread: [Controller-115-to-broker-113-send-thread]: Controller 115's connection to broker loshu-bdt03:1 (id: 113 rack: null) was unsuccessful
java.io.IOException: Connection to loshu-bdt03:1 (id: 113 rack: null) failed.
        at org.apache.kafka.clients.NetworkClientUtils.awaitReady(NetworkClientUtils.java:68)
        at kafka.controller.RequestSendThread.brokerReady(ControllerChannelManager.scala:269)
        at kafka.controller.RequestSendThread.doWork(ControllerChannelManager.scala:223)
        at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:64)
2018-09-03 14:14:22,384 WARN org.apache.kafka.clients.NetworkClient: [Controller id=115, targetBrokerId=115] Connection to node 115 could not be established. Broker may not be available.
2018-09-03 14:14:22,384 WARN kafka.controller.RequestSendThread: [Controller-115-to-broker-115-send-thread]: Controller 115's connection to broker loshu-bdt05:1 (id: 115 rack: null) was unsuccessful
java.io.IOException: Connection to loshu-bdt05:1 (id: 115 rack: null) failed.
        at org.apache.kafka.clients.NetworkClientUtils.awaitReady(NetworkClientUtils.java:68)
        at kafka.controller.RequestSendThread.brokerReady(ControllerChannelManager.scala:269)
        at kafka.controller.RequestSendThread.doWork(ControllerChannelManager.scala:223)
        at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:64)

这是什么问题呢

你客户端配置的是  loshu-bdt03 吗?

感谢你帮我解答,我已经找到问题所在了,是因为cloudera manager自己有自己的配置文件,所以server.properties并不生效。

你好,请问可以告知我哪里出了问题吗?

你的答案

查看kafka相关的其他问题或提一个您自己的问题