上图显示一个camus任务123个task成功,12个失败,18个被Kill
task失败错误信息图片
WARN [main] org.apache.kafka.clients.NetworkClient:Error while fetching metadata with correlation id 12213: [hive-dbname-cdrtable=LEADER_NOT_AVAILABLE
WARN [main] org.apache.kafka.clients.NetworkClient:Error while fetching metadata with correlation id 12215: [hive-dbname-cdrtable=LEADER_NOT_AVAILABLE]
WARN [main] org.apache.kafka.clients.NetworkClient:Error while fetching metadata with correlation id 12217: [hive-dbname-cdrtable=LEADER_NOT_AVAILABLE]
WARN [main] org.apache.kafka.clients.NetworkClient:Error while fetching metadata with correlation id 12219: [hive-dbname-cdrtable=LEADER_NOT_AVAILABLE]
WARN [main] org.apache.kafka.clients.NetworkClient:Error while fetching metadata with correlation id 12221: [hive-dbname-cdrtable=LEADER_NOT_AVAILABLE]
WARN [main] org.apache.kafka.clients.NetworkClient:Error while fetching metadata with correlation id 12222: [hive-dbname-cdrtable=LEADER_NOT_AVAILABLE]
求大神帮帮忙
有可能是zookeeper版本低于3.4.8,升级下zookeeper。
cdh集成的zookeeper,不能升。
我遇到的是无限制的刷这种错误,分配不到对应分区,最后确认下来是由于zk版本过低导致。
我也是无限刷这种错误的。但是3.4.8这个版本太高了吧,用的地方不多啊
目前我只遇到过一次,分享给你了,kafka新功能遇到的(如streams),有个很严重的bug现象,我在本地做测试,低版本的zookeeper第一次是ok的,但是当我重启应用就开始刷这种错,我还没有时间看源码。
嗯,不管怎样,谢谢你给我的解决思路。
你的答案