查看每个消费者组的消费情况,通过kafka manager 和命令行查看,平均每个消费者组都积压了 30w条,有的消费者积压的多 ,有的少,但是poll拉取的数量是0,连续poll才能拉取的数据,也设置一些调整性能的参数 比如num.network.threads之类的,还是有拉取不到数据的情况
你的积压如何统计的?
订阅模式,那说明你有360个消费者组,其中个别消费者组产生积压了。
您好,360多个消费者都是不同消费者组,topic分区数是3,消费者拿到数据就扔线程池处理了,处理很快,现在每次去poll,大概poll四五次才能取到数据,但是kafka已经积压了几十万,生产大概每秒3条数据
1、一个topic有360个消费者,topic的分区数一定要大于等于360,否则会有消费者永远拿不到消息。
2、你的消息过大,kafka是批量拉取消息的,使用一个批次的消息数量就不多,但是即使这样,一般瓶颈不在消费者,因为kafka将消息丢给处理程序后,只是处理能力较慢引起的,所以你需要了解你每秒产生多少条消息,消费的能力如何(可以抽一个分区来计算统计)
按照你的说法,都是正常的,看不到问题。 消费者直接拿官方原生的例子进行消费试试,不要动代码。因为之前有人代码包的线程有问题。