kafka消息消费慢的解决方案

无风三尺浪✅ 发表于: 2019-07-30   最后更新时间: 2023-07-16 14:25:52   4,619 游览

kafka消息消费的慢,不知道是消费者处理的能力不行,还是什么原因导致的。

发表于 2019-07-30
添加评论

kafka是批量获取消息的,一般默认拉取2000-3000条消息(根据消息大小,有所不同)。
所以,一般都是消费者拿到消息后,你的处理跟不上。

设置的默认是 100条消息,就是消费能力太慢了

消费能力是指kafka还是你的处理程序?

应该是我的处理程序吧,每个消息过来一大堆逻辑,我用的是单分区,就一个patition

是为了保证顺序才用单分区?
你这种只能优化你的处理程序了。

嗯是啊,多分区消息顺序乱了

大佬消费满解决了吗?小弟也遇到同样问题

半兽人 -> START! 1年前

如果你没有消息顺序保证的话:

  1. 多加几个分区
  2. 多启动几个消费者程序即可(数量不得超过分区数)。

这是最快和最优的方法。

你的答案

查看kafka相关的其他问题或提一个您自己的问题