error in fetch kafka.server.Replicafetcherthread

3个节点组成的KAFKA集群,当前只有一个topic,每天吞吐量4000万。之前每天凌晨报此错误,后来调优了内存,一个星期后再次报错,请问半先生遇到过没?

WARN [ReplicaFetcherThread-0-1],Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@603b5f9f (kafka.server.ReplicaFe...
io.IOExcepiton.Connection to 1 was disconnected before the response was read






发表于: 6月前   最后更新时间: 6月前   游览量:1238
上一条: kafka查看消费延迟的问题.
下一条: LEADER_NOT_AVAILABLE 外网kafka报错

评论…


  • 1、之前线上也出现过这个错误,我们的现象是,出现该错误的broker都无法连接到其中一个broker,并且该broker的连接数会急剧增加,直至突破限制,停止,并且在此期间无法接收数据。原因是kafka0.10.0有bug,broker出现死锁。https://issues.apache.org/jira/browse/KAFKA-4399   kafka0.10.1.1已修复该问题。你可以在错误出现的时候检查线程情况。
    2、也有可能是磁盘延迟,或者是网络不稳定导致。
    增加超时时间,监控系统,如果系统瓶颈还差很远,调大kafka的吞吐。
  • 评论…
    • in this conversation