error in fetch kafka.server.Replicafetcherthread

樵夫 发表于: 2018-03-16   最后更新时间: 2018-03-18 00:35:28   7,749 游览

3个节点组成的KAFKA集群,当前只有一个topic,每天吞吐量4000万。之前每天凌晨报此错误,后来调优了内存,一个星期后再次报错,请问半先生遇到过没?

WARN [ReplicaFetcherThread-0-1],Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@603b5f9f (kafka.server.ReplicaFe...
io.IOExcepiton.Connection to 1 was disconnected before the response was read
发表于 2018-03-16
添加评论

增加超时时间,监控系统,如果系统瓶颈还差很远,调大kafka的吞吐。

樵夫 -> 半兽人 6年前

感谢,刚入门,请问有详细配置说明吗

半兽人 -> 樵夫 6年前

挨着的3篇配置都看看吧。
https://www.orchome.com/472

1、之前线上也出现过这个错误,我们的现象是,出现该错误的broker都无法连接到其中一个broker,并且该broker的连接数会急剧增加,直至突破限制,停止,并且在此期间无法接收数据。原因是kafka0.10.0有bug,broker出现死锁。https://issues.apache.org/jira/browse/KAFKA-4399   kafka0.10.1.1已修复该问题。你可以在错误出现的时候检查线程情况。

2、也有可能是磁盘延迟,或者是网络不稳定导致。

你的答案

查看kafka相关的其他问题或提一个您自己的问题