topic大概有10个分区,整体分区数据每分钟产生150万条/min,但整体消费速度不超过2mb/s,分区积压数据量越来越大,请问下这种情况如何提高消费速度呀?
flink我没用过,我简单的帮你分析一下。首先,kafka消费者是批量获取消息的,所以一般瓶颈不会在数据拿的慢,而是在消费处理的慢。也就是说flink拿到消息,但是消化的慢,导致整体慢。你可以增加消费者数量,也就是flink来分化消息(最多不能超过10个,依据你的分区大小),看看是否效率有所提升。
找不到想要的答案?提一个您自己的问题。
0 声望
这家伙太懒,什么都没留下
flink我没用过,我简单的帮你分析一下。
首先,kafka消费者是批量获取消息的,所以一般瓶颈不会在数据拿的慢,而是在消费处理的慢。也就是说flink拿到消息,但是消化的慢,导致整体慢。
你可以增加消费者数量,也就是flink来分化消息(最多不能超过10个,依据你的分区大小),看看是否效率有所提升。
你的答案