kafka集群堆外内存溢出问题

天南地北 发表于: 2018-07-23   最后更新时间: 2018-07-23 18:28:04   5,553 游览

公司的kafka集群一共部署了6个节点,版本是0.10.1版本的。
大概是每天处理六千万条数据左右,已经稳定运行一年多。
现在其他部门的人又接入新的数据源,每天三百万条数据。

从这以后,kafka集群老是假死,掉节点

日志一直在报以下错误

[2018-07-18 08:56:14,746] ERROR Processor got uncaught exception
java.lang.outofwemoryErrorDirect buffer memory.(kafka. network. Processor)

我参考了以下链接,
https://blog.csdn.net/javalover123888/article/details/80376968
去掉了XX:+DisableExplicitGC

但是还是发生节点假死掉线的情况,我感觉可能是性能到了极限
请博主帮忙分析下情况

发表于 2018-07-23
添加评论

你先检查一下gc回收的耗时。

你的答案

查看kafka相关的其他问题或提一个您自己的问题