kafka 中compact .index 问题

电气焦杰涛 发表于: 2020-11-30   最后更新时间: 2020-11-30 10:59:14   1,316 游览

kafka 中compact .index 文件的机制是什么，如果在compact 过程中杀死broker,在重启broker 会怎么样？

kafka
发表于 2020-11-30
电气焦杰涛
添加评论

可以看看这篇文章：
https://www.orchome.com/23

回复
回答于 4年前
半兽人

好的，谢谢大佬

0 0 回复

我看了这篇文章是这样理解的，也就是说他的压缩是根据key 值来的，如果key相同的话。保留最后一条消费的记录。如果我在压缩过程中kill 掉这台broker的话，那么是不是认为 .index文件还没有生成，不会生效，保留的是未压缩的文件。在重新启动会在执行压缩操作，因为达到了设置的 log.index.size.max.bytes 这个值的大小。不知道理解的对不对。

0 0 回复

理解的是对的。原始数据才是核心。

0 0 回复

好的，谢谢

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。