kafka消费不出来数据，不报错 poll无阻塞

晴天的雨 发表于: 2019-07-11   最后更新时间: 2019-07-11 14:01:33   3,875 游览

循环poll(10000)，手动commit，topic每天00点会生产30条数据，但是消费的时候消费不全，poll没有阻塞，也没有报错，但是poll的数据是空的，查看group情况，lag还有数据是什么情况
我的消费者配置：

bootstrap.servers = [node1:9092, node2:9092, node3:9092]
fetch.max.wait.ms = 3000
fetch.min.bytes = 1024*1024
group.id = console-consumer-92931
key.deserializer = class org.apache.kafka.common.serialization.StringDeserializer
max.poll.records = 1000
enable.auto.commit=false
value.deserializer = class org.apache.kafka.common.serialization.StringDeserializer
kafka
发表于 2019-07-11
晴天的雨
添加评论

我觉得你手动提交写的有问题，你得贴点代码。

回复
回答于 5年前
半兽人
晴天的雨 -> 半兽人 5年前

主要代码如下：
while(true){
ConsumerRecords records = kafkaConsumer.poll(10000);
if (!records.isEmpty()) {
for (ConsumerRecord record : records) {
dataList.add(record.value());
}
dataConsumer.accept(dataList);
dataList.clear();
kafkaConsumer.commitSync();
}
}

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。