最近遇到了一个需求,大致内容如下:假如生产环境每天的业务量在1亿~10亿,数据日志保留一周,INFO级别的日志信息保留一月,ERROR级别的永久保留。由于我们生产环境的资源有限,可以暂时不用考虑硬件等资源问题。那么这个kafka集群该怎么设计?需要特别关注的地方有哪些?刚接触kafka,还望博主以及各位路过的大佬给些宝贵的建议和参考,在此谢过!
kafka只是个消息队列额。
但是kafka不也可以存储日志么?
是保留,默认7天,一般重要的信息保留30天。它适合做中转,不适合永久存储。
嗯嗯,我的意思也是这,就是topic的数据保留7天,其他服务日志信息按级别来保留,INFO级别的保留一个月,ERROR级别的错误信息永久保留,这个我查了一下,可以设置l0g4j来实现。我现在比较无措的就是在这样的需求下,如果日业务量在1亿~10亿,kafka集群怎么配置……
稳住,默认配置就够使,4台ssd集群机器,10亿不多。你按1秒钟1万条算。
你的答案