如何设置kafka的内存大小

记忆中的猫 发表于: 2020-11-18   最后更新时间: 2020-11-18 15:38:24   6,257 游览

kafka版本:2.3
3个节点的集群

当集群运行时,生产者和消费者正常运行,但系统buff/cache会不断增加,当中集群性能严重下降,几乎不可用,主题中有大量数据未消费堆积。系统内存32G,buff/cache不断增加到21G,还在不断增加,只能停止生产者,让消费者消费(性能下降),第二天来时,主题中的数据均被消费,但buff/cache没有下降,删除主题数据后,buff/cache恢复正常。

出现上述情况应该怎么处理,急 万分感谢

发表于 2020-11-18
添加评论

1、kafka会尽量的利用当前机器空余的内存来进行缓存消息(包含页缓存),但是这些属于buff/cache,当有其他的进程需要缓存的时候,kafka会立即释放这些buff/cache的,所以没啥影响,不会引起oom。

2、消费者消费不及时,是消费者逻辑的问题,跟kafka无关,消费者拿到消息之后,检查它自身的逻辑。

3、kafka的消息是持久化的,积压多少只要磁盘够,都没差。

你的答案

查看kafka相关的其他问题或提一个您自己的问题