kafka消费者下消费的时候,遇到了程序逻辑处理问题,导致客户端频繁发生重平衡问题,目前程序逻辑已经解决完毕,但是重新启动后,原来那三个分区的还是消费很慢,其他分区发送过来基本上接着消费完毕,但是那3个分区基本上挤压消费不动,经过查看该topic发送正常,无leader倾斜,请问有什么好的方法让单独3个分区加快消费吗?
发表于 2022-09-23
kafka消费者下消费的时候,遇到了程序逻辑处理问题,导致客户端频繁发生重平衡问题,目前程序逻辑已经解决完毕,但是重新启动后,原来那三个分区的还是消费很慢,其他分区发送过来基本上接着消费完毕,但是那3个分区基本上挤压消费不动,经过查看该topic发送正常,无leader倾斜,请问有什么好的方法让单独3个分区加快消费吗?
kafka是按批次拉取消息的,默认kafka消费者一次拉取500-2000条,一般瓶颈不会因为kafka拉取慢导致的。
所以只能关注业务方处理一条消息要多久,提升业务处理消息的能力,
你的答案