kafka mirrormaker2数据同步问题 关闭同步脚本数据消失?

Mr.Ridiculous 发表于: 2021-07-29   最后更新时间: 2021-07-29 23:20:50   1,606 游览

您好博主,有两个问题想请教一下

1、最近在使用kafka mirromaker2,在进行数据同步时,我把启动进程(bin/connect-mirror.sh mm.properties)关闭后,原先已经同步过来的数据在一段时间后消失了?kafka eagle中并无消费者消费这部分数据

2、kafak mirrornmaker2如何查看数据同步的情况?

发表于 2021-07-29
添加评论

首先,你要知道一个核心,源 (mirror)-> kafka备份集群,相互都是独立的集群,你是你我是我,只是借助mirrormaker2进行同步,参考kafka镜像集群之间的数据的评论,所以

  1. 同步的数据消息(比较神奇,因为数据是持续流入的,没有状态,你如何判断消失的呢)

  2. 相互独立的,所以查看同步情况,你到被同步的集群,用正常的kafka命令去查看即可。(ps:你可以查看一下的消费者组列表,如果基于消费者模式的话,mirror也作为一个消费者组可以查看它还有多少没同步,如果是基于流,可能查不到,期待你的测试结论)

博主,关于数据消失,是指在eagle监控,可以看到启动mirrormaker2脚本,能看到数据源源不断从源集群到目标集群,同步的topic数据在增长,然后我将ctr+C结束脚本执行,然后目标集群topic数据增长结束,然后大约几分钟后,目标集群中刚刚同步的数据topic的logsize和TopicCapacity变为了0(这些都是通过eagle观察到的)

你用命令行直接消费测试吧。
参考:https://www.orchome.com/454

你的答案

查看kafka相关的其他问题或提一个您自己的问题