Kafka消费不均匀

晴天的雨 发表于: 2020-03-13   最后更新时间: 2020-03-13 21:08:28   2,350 游览

有1、2、3、4、5个Kafka组成了一个集群，现发现在别的服务器或者在这几个Kafka机器上都去消费这个kakfa的某个topic出现消费不均匀的现象，经观察，消费速度也不一样，积压的分片上消费的慢，这个问题是近段时间才出现的，以前没有出现过这种问题。如下图是查看消费者的情况。而且各个topic都出现这个问题，每个积压的分片也不同，求解是咋回事呢

screenshot

kafka
发表于 2020-03-13
晴天的雨
添加评论

消费的慢，取决于消费者的能力。

consumer-154-8e411013-4bfa-4dd3 这个消费者分别消费了6和7分区的消息。另外一个消费者onsumer-147-b04....-52ce.消费分区2、3.

你可以算下每秒消费多少条消息，其他正常的消费多少，如果它们俩个值接近，说明它们其实处理的速度是一样，那就有可能在某一时刻，这两个消费者出现了阻塞，但是你产生的消息源源不断，等恢复的时候你看到的现象就是这样。

另外，如果这2个速率差距巨大，你就定位这2个消费者部署的机器位置，cpu、和网络情况（也或者kafka慢的这几个分区在哪台物理机器上，正好它慢）。

回复
回答于 4年前
半兽人
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。