kafka集群缩容分区迁移太慢

祖晓晖 发表于: 2021-06-03   最后更新时间: 2021-06-03 09:53:38   1,692 游览

因为考虑到资源利用率的问题,需要对kafka集群进行缩容,目前是9个broker,需要缩容到7个,提交执行了分区迁移计划。

kafka版本2.11-1.1.0

问题:

  1. 7个小时了,还没执行完,请问这个是正常的吗
  2. 有什么办法可以加快分区迁移,能否通过删除持久化数据,或者删除并新建topic。(集群可以容忍数据丢失,存日志的)
  3. 查看topic详细信息,有的副本数多余isr,设置的是3副本,但是显示Replicas: 6,7,3,8,4 Isr: 6,8,7,3
  4. 通过主机监控,发现被迁移的主机,网卡流出量有200多MB,说明是在同步的吧。
发表于 2021-06-03
¥1.0

1、正常的,数据量大的能同步几天。
2、你处于热迁移,是不影响线上交易的,如果删除topic,那就是停机维护了,怎么弄都可以。
3、你的副本数是3,如果迁移缩减了2个,那也会少复制一份。
4、你这个带宽很厉害了 (200M x 8),我担心的是你的迁移会影响正常的kafka读写,一般这种量级的要限流。

耐心等待吧,如果你想预估迁移的时间,你可以通过 存储topic目录的总大小/每秒同步的数据量,计算出个大概。

祖晓晖 -> 半兽人 3年前

感谢!通过监控发现正在同步失效分区,还差50多个要同步

你的答案

查看kafka相关的其他问题或提一个您自己的问题