麦兜的早餐

0 声望

这家伙太懒,什么都没留下

个人动态
  • 半兽人 回复 麦兜的早餐 kafka扩大集群 中 :

    对,当第一次创建topic时,topic的分区分配到每个kakfa现有的节点中(根据分区数)。一旦分配好了,就不会变动了。

    4年前
  • 麦兜的早餐 回复 半兽人kafka扩大集群 中 :

    多谢。
    以下是我的理解:
    当生产者向某个topic发送数据或者消费者向某个topic消费数据时,如果kafka集群中没有该topic,就会自动创建topic。如果集群中已经有了该topic,就不会再创建了。
    在进行集群扩容时,由于集群中topic已经存在,所以新的节点上是不会再去创建相同的topic的,必须进行数据迁移。

    4年前
  • 半兽人 回复 麦兜的早餐 kafka扩大集群 中 :

    必须要进行数据迁移,因为在新的节点上,你的topic是没有分区的。

    4年前
  • 麦兜的早餐 回复 半兽人kafka扩大集群 中 :

    大神好,
    如果新加入的kafka节点还没有进行过数据迁移,此时在filebeat中已经配置了新节点的信息并已经运行,那么filebeat采集的数据能够进入新节点吗?
    在kafka的官方文档中没有看到相关的说明,目前根据测试情况是filebeat采集的数据没有进行新节点。
    请问是否有看到过官方对此的说明,或者是否有实际应用的经验可以分享一下。

    4年前