kafka集群主备同步以及流量切换

剑枫寒 发表于: 2019-11-12   最后更新时间: 2019-11-12 16:54:28   4,589 游览

使用kafka自带的 MirrorMaker可以使两个机房的集群达到实时同步，但是怎么在主集群出故障的时候把流量切换到备份集群，然后在主集群恢复正常的时候在从备份切回到主机群，一般的做法是什么？

kafka
发表于 2019-11-12
剑枫寒
添加评论

做不到直接切额。

  1. kafka是长连接，需要重新建立连接（取决于客户端）
  2. 即使指向了新的kafka集群，消费者也重新建立链接了，2个集群之间的offset不同，也会导致重复消费或丢失消息。
回复
回答于 5年前
半兽人
剑枫寒 -> 半兽人 5年前

因为我现在的3个broker都是部署在一个机房，所以可以说这个集群是个单点，一旦机房网络出问题，整个集群都会有影响，那怎么做到集群的稳健以及高可用？

0 0 回复
半兽人 -> 剑枫寒 5年前

我想不到好的方法，即使冷备，也涉及到很多数据同步的问题。

0 0 回复
剑枫寒 -> 半兽人 5年前

那你们公司的kafka集群也是部署在一个机房的？ 还是有什么其它的策略来保证高可用

0 0 回复
半兽人 -> 剑枫寒 5年前

嗯，同一个机房。
我们还未考虑到整个机房不可用。
如果整个机房不可用，这样不仅仅是kafka，数据库应用同步都是问题。

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。