关于 kafka 集群设计方案的问题

落樱留独殇 发表于: 2018-05-09   最后更新时间: 2018-05-09 18:52:56   2,314 游览

最近遇到了一个需求,大致内容如下:假如生产环境每天的业务量在1亿~10亿,数据日志保留一周,INFO级别的日志信息保留一月,ERROR级别的永久保留。由于我们生产环境的资源有限,可以暂时不用考虑硬件等资源问题。那么这个kafka集群该怎么设计?需要特别关注的地方有哪些?刚接触kafka,还望博主以及各位路过的大佬给些宝贵的建议和参考,在此谢过!

发表于 2018-05-09
添加评论

kafka只是个消息队列额。

但是kafka不也可以存储日志么?

是保留,默认7天,一般重要的信息保留30天。它适合做中转,不适合永久存储。

嗯嗯,我的意思也是这,就是topic的数据保留7天,其他服务日志信息按级别来保留,INFO级别的保留一个月,ERROR级别的错误信息永久保留,这个我查了一下,可以设置l0g4j来实现。我现在比较无措的就是在这样的需求下,如果日业务量在1亿~10亿,kafka集群怎么配置……

稳住,默认配置就够使,4台ssd集群机器,10亿不多。你按1秒钟1万条算。

你的答案

查看kafka相关的其他问题或提一个您自己的问题