如题,现在由1、2、3号节点组成的kafka集群中,所有主题的leader指向1号节点,这样导致1号节点cpu超高,达130%,如何实现节点负载均衡?
可以参考:kafka平衡leader
感谢回复, 诚如文章所述,主要涉及的参数是auto.leader.rebalance.enable,kafka默认设置它也为true, 但据许多资料记载,建议将此参数设置为false, 他们普遍认为如果设置为true,则kafka broker会定期(由另一个参数控制)进行选举,也就是说即使某些分区的leader工作良好,也会被替换掉,从而成为follower, 并且在替换期间会有大面积的停止生产、消费、副本同步,甚至出现数据不一致的问题。是不是有上面提到的问题呢?请问大佬生产环境将此参数设置的是?
不会的,不会产生你说的现象。
哦哦,你们的生产环境也是设置的auto.leader.rebalance.enable为true吧。另外leader.imbalance.per.broker.percentage和leader.imbalance.check.interval.seconds有没有推荐值?主要是担心有大面积生产消费停滞
嗯,是true,都是默认的值,默认值就够了,我们没有改过。不会产生消费者停滞的,关键是你们出现这个负载不均衡的原因要找到。
找不到想要的答案?提一个您自己的问题。
0 声望
这家伙太懒,什么都没留下
可以参考:kafka平衡leader
感谢回复, 诚如文章所述,主要涉及的参数是auto.leader.rebalance.enable,kafka默认设置它也为true, 但据许多资料记载,建议将此参数设置为false, 他们普遍认为如果设置为true,则kafka broker会定期(由另一个参数控制)进行选举,也就是说即使某些分区的leader工作良好,也会被替换掉,从而成为follower, 并且在替换期间会有大面积的停止生产、消费、副本同步,甚至出现数据不一致的问题。
是不是有上面提到的问题呢?请问大佬生产环境将此参数设置的是?
不会的,不会产生你说的现象。
哦哦,你们的生产环境也是设置的auto.leader.rebalance.enable为true吧。
另外leader.imbalance.per.broker.percentage和leader.imbalance.check.interval.seconds有没有推荐值?主要是担心有大面积生产消费停滞
嗯,是true,都是默认的值,默认值就够了,我们没有改过。
不会产生消费者停滞的,关键是你们出现这个负载不均衡的原因要找到。
你的答案