目前用的是单机kafka 共有100g数据 235个分区 每个topic保存3天2g的数据 为了高可用高并发 想扩充为三个节点 请问硬件配置怎么选择?主要是内存 目前服务器200G磁盘 4g内存 jvm分配了2g group 47个 消费者235个
你调整3台之后,单台压力会减少2-3倍,所以不会出现瓶颈问题。
磁盘
内存
推荐:分区双副本,性能和健壮性最佳。
你现在这个量级,不需要调整以下参数,但可参考:
请问内存根据什么原则去选择 kafka和zoo的jvm设置为多少 现在单节点内存占用越来越高是什么原因
你单节点的时候,没有副本备份,现在多节点之后,数据是双份,所以内存也要增加。
内存大小基于几个点的累加:
内存占用越来越高,是kafka在充分利用空闲的内存:
buff/cache
,当有其他的进程需要缓存的时候,kafka会立即释放这些buff/cache
,所以没啥影响,不会引起oom。zookeeper内存不变,kafka你的也不需要调整,当你的消息大小变化了,或者消息有积压的时候,在调整。
你的答案