站长大佬,我使用命令修改了topic设置compression.type=zstd,我看磁盘占用没有下降啊,这个压缩是新存储的消息压缩,历史消息不会压缩吗。
Poll consumer information (Not recommended for large # of consumers if ZK is used for offsets tracking on older Kafka versions)
这个勾选了吗?
好吧我想的太多了,先配置压缩方式看看效果吧,现在就是不处理日志每天都保留一天差不多1G占用唉
大佬,kafka处理日志压缩方式我也查了,我想到那个压缩就是先停服务,把几年前的log压缩成xz格式的压缩包,22年的log不动,这种处理可行吗,服务能不能正常启动。。
compression.type=(支持标准的压缩编码器('gzip', 'snappy', 'lz4'))
参考来自:Kafka Broker配置
kafka broker端有一个参数叫compression.type,和producer端的参数设置一样。但是这个参数的默认值是producer,表示broker端会尊重producer端使用的压缩算法,可一旦你在broker端设置了不同的compression.type值,就一定要小心了,因为可能会发生预料之外的压缩/解压缩操作,导致broker端CPU使用率飙升。比如broker端接收到gzip压缩消息后,broker端指定了snappy压缩算法,这样broker只能解压缩然后使用snappy重新压缩一遍。