kafka日志数据保留时间修改

愚思 发表于: 2018-05-25   最后更新时间: 2018-05-25 10:09:00   5,950 游览

kafka的数据保留时间和流量峰值,磁盘大小有什么计算关系吗?

发表于 2018-05-25
添加评论

首先,抛开业务要求消息保留的时间。
这个其实很好算的,如果我一天数据量是20G,我磁盘是500G,那默认7天即可,根本不需要调整。
如果你一天20G,有250G,防止日志突然激增,调整成5天。
最后,你保守起见,设置保留的总大小,超过了自动覆盖之前的,那么你永远都不怕超。

愚思 -> 半兽人 5年前

哦哦,懂了。超级感谢。补充一个问题:根据这个计算方法,我们是在每次出现流量激增的时候,先kill掉kafka进程,然后再重新应用新的保留时间吗?

半兽人 -> 愚思 5年前

调整新的保留时间吗?是要重启kafka的。
不过这种情况太少了,都是提前算好的,而且中间件的机器和磁盘都相对较好和大。

愚思 -> 半兽人 5年前

好的,谢谢。

你的答案

查看kafka相关的其他问题或提一个您自己的问题