kafka日志数据保存时间和大小问题

我在kafka的服务端配置了日志的两个参数log.retention.bytes=1024和log.segment.bytes=1024,还有一个log.retention.minutes=300,然后我往topic(3个分区)里面发送1000条数据,数据量肯定超过了1KB,然后我去看分区里的日志文件,发现还有存在的xxx.log和xxx.index文件,而且还有两对xxx.log文件存在。我的疑问是,按理说不是应该都删除了吗?应该查询不到log文件了啊,因为大小都超过了1kB了






发表于: 6月前   最后更新时间: 6月前   游览量:1705
上一条: 到头了!
下一条: 已经是最后了!

评论…


  • log.retention.minutes是删除前的保留时间。
    看下配置说明:http://orchome.com/472
    补充问题:还有我发现剩下的每个xxx.log的文件大小都是4.0K,所以是超过我设置的1KB的,请大佬有空时帮我解答下。
    • 这个没有配置啊,默认是deleted。上面的大小我用du -sh查的,不准,其实剩下的log一个是1001bytes,和93bytes,我只是想测试log.retention.bytes的功能,1024bytes的大小会比log.retention.minutes先发挥作用,所以这种情况下最后保留两个log,应该是log.retention.bytes的原理不是单纯的超过这个大小就删除,是不是还有更复杂的运行原理?我用的是0.10.0版本
      • 评论…
        • in this conversation