START!

0 声望

这家伙太懒,什么都没留下

个人动态
  • 半兽人 回复 START!kafka消费堆积问题 中 :

    你触发rebalance,说明你拉取消息之后,处理的时间超过了max.poll.interval.ms默认30秒。
    那么你消费慢的原因是你处理速度跟不上

    想测试以上的推论很简单,你拉取到消息之后,什么都不要处理,看看是否稳定。

    你消费越来越慢,也是因为你的处理写的有问题,可以想象一下,kafka一次把1000~2000条消息一次性的拉取过来了,这个时候你在处理的时候,超过了30秒,所以触发了rebalance,你加大max.poll.interval.ms只会缓解这个症状(参考:https://www.orchome.com/6742)。

    所以,总结下来,就是你处理的速度跟不上,想要根治并且报障安全的话:

    1. 并发处理kafka一次性1000~2000条消息(30秒内,保证不触发rebalance)。
    2. 在处理掉1000~2000之前,不能去pull新的消息,所以必须是阻塞式的。
    9月前
  • 半兽人 回复 START!kafka消息消费慢的解决方案 中 :

    如果你没有消息顺序保证的话:

    1. 多加几个分区
    2. 多启动几个消费者程序即可(数量不得超过分区数)。

    这是最快和最优的方法。

    9月前
  • 发表了 kafka消费堆积问题  
    9月前
  • START! 回复 无风三尺浪✅kafka消息消费慢的解决方案 中 :

    大佬消费满解决了吗?小弟也遇到同样问题

    9月前