发现由3个节点组成的kafka集群中,所有topic leader都是1号节点,导致流量负载过高,哪些方法可以使其leader均匀分布到各个节点

▓千年祇园 卐 发表于: 2023-09-13   最后更新时间: 2023-09-13 14:24:10   391 游览

如题,现在由1、2、3号节点组成的kafka集群中,所有主题的leader指向1号节点,这样导致1号节点cpu超高,达130%,如何实现节点负载均衡?

发表于 2023-09-13
添加评论

可以参考:kafka平衡leader

感谢回复, 诚如文章所述,主要涉及的参数是auto.leader.rebalance.enable,kafka默认设置它也为true, 但据许多资料记载,建议将此参数设置为false, 他们普遍认为如果设置为true,则kafka broker会定期(由另一个参数控制)进行选举,也就是说即使某些分区的leader工作良好,也会被替换掉,从而成为follower, 并且在替换期间会有大面积的停止生产、消费、副本同步,甚至出现数据不一致的问题。
是不是有上面提到的问题呢?请问大佬生产环境将此参数设置的是?

不会的,不会产生你说的现象。

哦哦,你们的生产环境也是设置的auto.leader.rebalance.enable为true吧。
另外leader.imbalance.per.broker.percentage和leader.imbalance.check.interval.seconds有没有推荐值?主要是担心有大面积生产消费停滞

嗯,是true,都是默认的值,默认值就够了,我们没有改过。
不会产生消费者停滞的,关键是你们出现这个负载不均衡的原因要找到。

你的答案

查看kafka相关的其他问题或提一个您自己的问题