这家伙太懒,什么都没留下
对,当第一次创建topic时,topic的分区分配到每个kakfa现有的节点中(根据分区数)。一旦分配好了,就不会变动了。
多谢。以下是我的理解:当生产者向某个topic发送数据或者消费者向某个topic消费数据时,如果kafka集群中没有该topic,就会自动创建topic。如果集群中已经有了该topic,就不会再创建了。在进行集群扩容时,由于集群中topic已经存在,所以新的节点上是不会再去创建相同的topic的,必须进行数据迁移。
必须要进行数据迁移,因为在新的节点上,你的topic是没有分区的。
大神好,如果新加入的kafka节点还没有进行过数据迁移,此时在filebeat中已经配置了新节点的信息并已经运行,那么filebeat采集的数据能够进入新节点吗?在kafka的官方文档中没有看到相关的说明,目前根据测试情况是filebeat采集的数据没有进行新节点。请问是否有看到过官方对此的说明,或者是否有实际应用的经验可以分享一下。