您好博主,有两个问题想请教一下
1、最近在使用kafka mirromaker2,在进行数据同步时,我把启动进程(bin/connect-mirror.sh mm.properties)关闭后,原先已经同步过来的数据在一段时间后消失了?kafka eagle中并无消费者消费这部分数据
2、kafak mirrornmaker2如何查看数据同步的情况?
您好博主,有两个问题想请教一下
1、最近在使用kafka mirromaker2,在进行数据同步时,我把启动进程(bin/connect-mirror.sh mm.properties)关闭后,原先已经同步过来的数据在一段时间后消失了?kafka eagle中并无消费者消费这部分数据
2、kafak mirrornmaker2如何查看数据同步的情况?
首先,你要知道一个核心,源 (mirror)-> kafka备份集群,相互都是独立的集群,你是你我是我,只是借助mirrormaker2进行同步,参考kafka镜像集群之间的数据的评论,所以
同步的数据消息(比较神奇,因为数据是持续流入的,没有状态,你如何判断消失的呢)
相互独立的,所以查看同步情况,你到被同步的集群,用正常的kafka命令去查看即可。(ps:你可以查看一下
源
的消费者组列表,如果基于消费者模式的话,mirror也作为一个消费者组可以查看它还有多少没同步,如果是基于流,可能查不到,期待你的测试结论)博主,关于数据消失,是指在eagle监控,可以看到启动mirrormaker2脚本,能看到数据源源不断从源集群到目标集群,同步的topic数据在增长,然后我将ctr+C结束脚本执行,然后目标集群topic数据增长结束,然后大约几分钟后,目标集群中刚刚同步的数据topic的logsize和TopicCapacity变为了0(这些都是通过eagle观察到的)
你用命令行直接消费测试吧。
参考:https://www.orchome.com/454
你的答案