这家伙太懒,什么都没留下
让他们写到新节点呀 老的消费掉就好了
看你们机器间的io吞吐量,计算出来时间。 如果你们的消息持续流入,高过了迁移速度,那永远都好不了。
谢谢大佬的解答!但是kafka一直有其他公司传入的数据,不太好停业务把数据拷贝到新的节点上,想不用停业务同步数据的办法解决,所有才有上面的问题!另外想问一下,kafka3台服务器每台上大概80G的数据,同步的话需要多长时间?
1、把老的分区直接移到新的节点上即可,老节点不用保留任何分区和节点,副本和分区数根据你的情况自己决定2、同上3、不太清楚你要修改zk的什么信息。
另外,如果你的业务允许的话,搭建3台干净的kafka集群,新消息写到新集群,这种最好(因为海量数据迁移可以会导致进行一周或者二周)。