flink程序消费kafka速度起不来,请问下如何调整消费速度?

张大伟 发表于: 2021-01-08   最后更新时间: 2021-01-08 10:35:54   8,374 游览

topic大概有10个分区,整体分区数据每分钟产生150万条/min,但整体消费速度不超过2mb/s,分区积压数据量越来越大,请问下这种情况如何提高消费速度呀?

发表于 2021-01-08
添加评论

flink我没用过,我简单的帮你分析一下。
首先,kafka消费者是批量获取消息的,所以一般瓶颈不会在数据拿的慢,而是在消费处理的慢。也就是说flink拿到消息,但是消化的慢,导致整体慢。
你可以增加消费者数量,也就是flink来分化消息(最多不能超过10个,依据你的分区大小),看看是否效率有所提升。

你的答案

查看kafka相关的其他问题或提一个您自己的问题