有关kafka多线程启动多个Consumer报错的问题

■□ 微笑 ,只是对人~ 发表于: 2018-03-22   最后更新时间: 2018-03-22 22:35:38   5,983 游览

我使用多线程启动多个Conusmer这样的问题怎样解决啊 大神。
KafkaConsumer is not safe for multi-threaded access

发表于 2018-03-22

kafka获取消息的时候,是批量获取,例如一下获取2000-4000条,这个时候 你可以用多线去处理。而不是多线程去拉取数据。

谢谢 您的回复。我还有个问题我一次性订阅多个Topic,用一个线程去启动会有性能问题吗?

不会,一般拉取的数据要高于处理的速度。

楚凡 -> 半兽人 6年前

您好!我现在遇到的情况是在使用多线程处理拉取的消息后,相对而言拉取消息的耗时远超过处理时间,这种情况可以从哪些方面进行改进呢?

BLue -> 半兽人 3年前
new Thread(new Runnable() {
@Override
public void run() {
new ConsumerForward(consumerFactory.getConsumer(topicName)).poll(topicName, obj, transObj);
}
}, topicName + "-consumerThread").start();

博主,我下载的您写的客户端中,是不是启动一个新的线程去拉去数据?我在运行的时候也遇到这样的错误。

半兽人 -> BLue 3年前

不用写新线程去拉取消息呀。
poll从这个里面才需要分发消息。

我也遇到这个问题了 怎么解决的

你的答案

查看kafka相关的其他问题或提一个您自己的问题