使用camus将kafka中的数据入hive时,总有几个task失败,导致一些表入不了hive

漂泊的美好 发表于: 2017-01-07   最后更新时间: 2017-01-07 20:33:59   5,667 游览

screenshot
上图显示一个camus任务123个task成功,12个失败,18个被Kill


task失败错误信息图片
screenshot
WARN [main] org.apache.kafka.clients.NetworkClient:Error while fetching metadata with correlation id 12213: [hive-dbname-cdrtable=LEADER_NOT_AVAILABLE
WARN [main] org.apache.kafka.clients.NetworkClient:Error while fetching metadata with correlation id 12215: [hive-dbname-cdrtable=LEADER_NOT_AVAILABLE]
WARN [main] org.apache.kafka.clients.NetworkClient:Error while fetching metadata with correlation id 12217: [hive-dbname-cdrtable=LEADER_NOT_AVAILABLE]
WARN [main] org.apache.kafka.clients.NetworkClient:Error while fetching metadata with correlation id 12219: [hive-dbname-cdrtable=LEADER_NOT_AVAILABLE]
WARN [main] org.apache.kafka.clients.NetworkClient:Error while fetching metadata with correlation id 12221: [hive-dbname-cdrtable=LEADER_NOT_AVAILABLE]
WARN [main] org.apache.kafka.clients.NetworkClient:Error while fetching metadata with correlation id 12222: [hive-dbname-cdrtable=LEADER_NOT_AVAILABLE]


求大神帮帮忙

发表于 2017-01-07

有可能是zookeeper版本低于3.4.8,升级下zookeeper。

cdh集成的zookeeper,不能升。

我遇到的是无限制的刷这种错误,分配不到对应分区,最后确认下来是由于zk版本过低导致。

我也是无限刷这种错误的。但是3.4.8这个版本太高了吧,用的地方不多啊

目前我只遇到过一次,分享给你了,kafka新功能遇到的(如streams),有个很严重的bug现象,我在本地做测试,低版本的zookeeper第一次是ok的,但是当我重启应用就开始刷这种错,我还没有时间看源码。

嗯,不管怎样,谢谢你给我的解决思路。

你的答案

查看kafka相关的其他问题或提一个您自己的问题