kafka分区拉取消息问题

青天白云 发表于: 2020-12-21   最后更新时间: 2020-12-21 10:58:22   1,345 游览

大佬请教两个问题:

一,consumer.poll 拉取kafka中消息(外层while(true))经常前几次拉不到数据,这是什么原因(kafka中一直有数据的),网络还是kafka机制的原因???

二,consumer.poll topic有三个分区,只有一个消费者,每次拉取时候,是随机从分片上拉取数据的,6中可能;这是什么原因呢, 打扰了,谢谢!!!

KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(properties);
kafkaConsumer.subscribe(Collections.singletonList("activenodeStatus"));
while (true) {
     ConsumerRecords<String, String> records = kafkaConsumer.poll(Duration.ofMillis(1));
}
发表于 2020-12-21
添加评论

1、跟订报纸一样,当你从订阅报纸的那一刻,后续的报纸才会发送给你(之前的不会给你),所以你需要优先启动消费者。
2、6中可能是什么意思?

另外,你使用的是订阅指定的分区方式:https://www.orchome.com/451#item-8
但是看你的描述,你直接用默认自动分区的即可:https://www.orchome.com/451#item-5

青天白云 -> 半兽人 3年前

大佬的连接看了,受到启发,问题也已经解决,多谢!

半兽人 -> 青天白云 3年前

结贴吧!

你的答案

查看kafka相关的其他问题或提一个您自己的问题