kafka一个消费组对应着一个接口,我需要去获取这些数据呢?

scattered and scattered 发表于: 2020-02-10   最后更新时间: 2020-02-10 16:47:15   1,417 游览

大佬们。问个问题,一个消费组对应着一个接口,我需要去获取这些数据呢?

我想是说写个配置表,然后隔1-2秒去扫描这表,替换成对应的消费组,那么有个问题

消费者可以隔一两秒去获取数据吗?怎么能保证获取的数据位置和上次是一致的呢?

还有一种方法一个接口启动一个消费组,循环获取数据,这样也会导致进程太多了,会不会影响进程
哪种方法比较好呢?或者有没有其他更好的建议呢

发表于 2020-02-10
¥10.0

没太理解你的问题,能在详细描述一下你的场景吗

大佬,场景是这样的,我们是消费者,需要从生产者获取数据,然后我们是按照一个接口对应着一个消费组,一共有24个接口。我想问怎么获取这些数据呢??我想了两种方法,1.写个配置表,然后隔1-2秒去扫描这表,从表中获取对应的消费组,隔断的时间,不是会导致数据获取不完整,那么消费者隔一两秒去获取数据,怎么能保证获取的数据位置和上次是一致的呢?

第二种办法是一个接口启动一个消费组,然后在获取数据的时候进行循环,循环获取数据,这样会不会导致进程太多了,毕竟一个接口就一个消费者,我们有30个接口

有没有其它更好的方法呢

有30个topic,2种方式,第一种每隔1、2秒去挨个拉取一遍,然后释放进程。kafka是通过默认消费者组名来保障消费位置的。
我推荐第二种,其实这种和你的第一种差不多,消费者与Kafka建立长连接之后,主动向kafka拉取的消息,而且1、2秒的间隔,如果你用第一种会反复建立连接关闭连接,这种是最消耗性能的。

好的,谢谢大佬,那我结帖咯

30个线程对应30个长连接,这种体量消耗不了多少资源的,占用其实非常小。

嗯嗯。好的。我还担心进程太多,损耗太大

大佬。求助,我去读取数据库的时候,用idea读取不到

不同的问题就不要放在一起了,发个新问题吧,把问题详细描述一下。

你的答案

查看kafka相关的其他问题或提一个您自己的问题