在需要大量(百万级)发送消息(消息大小从5kb到16kb不等)的场景下时,我发现设置gzip压缩,我发现设置为gzip之后,生产中间阻塞了3分钟,才继续发送消息, 请问你能解释这其中的缘由吗? 是因为压缩本身就需要花这么多少时间吗?
是不是kafka生产者进行压缩时会阻塞
producer.send()
?kafka默认支持 'gzip', 'snappy', 'lz4'。效率不阐述了,网上一大堆,其中
压缩率一般是越小越好,但是越小,一般解压时间也越长(不过已经在消费者端了)。
压缩没有特别的逻辑,就是将你即将发送的消息,通过以上压缩技术,进行压缩后,发送给kaka。
适合的场景:
所以你关注一下你cpu的利用率。
你的答案