kafka版本:2.33个节点的集群 当集群运行时,生产者和消费者正常运行,但系统buff/cache会不断增加,当中集群性能严重下降,几乎不可用,主题中有大量数据未消费堆积。系统内存32G,buff/cache不断增加到21G,还在不断增加,只能停止生产者,让消费者消费(性能下降),第二天来时,主题中的数据均被消费,但buff/cache没有下降,删除主题数据后,buff/cache恢复正常。 出现上述情况应该怎么处理,急 万分感谢
1、kafka会尽量的利用当前机器空余的内存来进行缓存消息(包含页缓存),但是这些属于
buff/cache
,当有其他的进程需要缓存的时候,kafka会立即释放这些buff/cache
的,所以没啥影响,不会引起oom。2、消费者消费不及时,是消费者逻辑的问题,跟kafka无关,消费者拿到消息之后,检查它自身的逻辑。
3、kafka的消息是持久化的,积压多少只要磁盘够,都没差。
你的答案