kafka_2.12-2.1.0或kafka_2.11-2.1.0 出现了死锁问题,kafka节点出现假死状态

DinGYun 发表于: 2019-08-28   最后更新时间: 2021-11-15 09:58:41   2,834 游览

线上环境kafka出现一个节点正常,但是生产者和消费者和该节点leader partation的建立链接,出现kafka该节点的leader不提供服务的情况:

生产者情况如下:

org.apache.kafka.common.errors.TimeoutException: Expiring 4 record(s) for data-streaming-topic-0:120008 ms has passed since batch creation
org.apache.kafka.common.errors.TimeoutException: Expiring 4 record(s) for data-streaming-topic-0:120014 ms has passed since batch creation
org.apache.kafka.common.errors.TimeoutException: Expiring 4 record(s) for data-streaming-topic-12:120010 ms has passed since batch creation

一共15个分区,但往这3个分区写等待超时

大概kafka这几个分区20多分钟不能提供任何生产和消费者服务,也没有死掉

之后kafka报错:

too many files

然后kafka重启。

最后解决方法:

https://issues.apache.org/jira/browse/KAFKA-7697

发表于 2019-08-28
添加评论

谢谢分享,如果能把解决问题翻译总结一下,写在留言区,然后自己标注解决。

你的答案

查看kafka相关的其他问题或提一个您自己的问题