问题 kafka集群在跨机房部署的时候内部数据同步是不是很慢? 自己在测试过程钟,数据量稍微大的时候从一个机房leader把数据同步给另一个机房的副本时候,可能就得几秒钟。但是不跨机房部署的时候,又做不到高可用,请问有什么部署的建议? zk保存了kafka的meta相关信息,需不需要把zk集群和kafka集群分开机房部署? 如果两个部署在一个机房里,那部署在同一台机器上有没有问题? 还有对于zk集群和kafka集群部署的节点数有没有什么建议(我预打算zk和kafka都部署5个节点)
1、跨机房慢是网络通讯的损耗,与kafka自身无关,kafka本身的建议就是不要跨网络。建议在另外一个机房做备份。
2、同一个机房就可以了,同一台没问题的,我们也这样。
3、zk至少5个,kafka就随意了,topic的分区主备即可,这样效率和耐用性都有相应的保障(除非你的数据量不大,可以增加副本数)。
另一个机房做备份的意思是自己在手动写一个数据的同步节点,做到集群和集群之间的互相备份?
可以参考:https://www.orchome.com/34
get 多谢
zk生产环境开启jmx端口访问被检测有外网入侵危险:一个解决方法是设置防火墙,另一个我看是说可以开启身份验证,请问怎么开启身份验证?
zookeeper sasl acl 可以搜下。
你们公司zk的jmx限制外网访问是怎么做的,还有我在网上搜了下说是搞两个jmxremote.access和jmxremote.password 然后修改zkServer.sh 不知道是不是这样搞的?
https://wiki.linux78.com/read/zookeeper/zookeeper-jvm
你的答案