大佬们。问个问题,一个消费组对应着一个接口,我需要去获取这些数据呢?
我想是说写个配置表,然后隔1-2秒去扫描这表,替换成对应的消费组,那么有个问题
消费者可以隔一两秒去获取数据吗?怎么能保证获取的数据位置和上次是一致的呢?
还有一种方法一个接口启动一个消费组,循环获取数据,这样也会导致进程太多了,会不会影响进程
哪种方法比较好呢?或者有没有其他更好的建议呢
大佬们。问个问题,一个消费组对应着一个接口,我需要去获取这些数据呢?
我想是说写个配置表,然后隔1-2秒去扫描这表,替换成对应的消费组,那么有个问题
消费者可以隔一两秒去获取数据吗?怎么能保证获取的数据位置和上次是一致的呢?
还有一种方法一个接口启动一个消费组,循环获取数据,这样也会导致进程太多了,会不会影响进程
哪种方法比较好呢?或者有没有其他更好的建议呢
没太理解你的问题,能在详细描述一下你的场景吗
大佬,场景是这样的,我们是消费者,需要从生产者获取数据,然后我们是按照一个接口对应着一个消费组,一共有24个接口。我想问怎么获取这些数据呢??我想了两种方法,1.写个配置表,然后隔1-2秒去扫描这表,从表中获取对应的消费组,隔断的时间,不是会导致数据获取不完整,那么消费者隔一两秒去获取数据,怎么能保证获取的数据位置和上次是一致的呢?
第二种办法是一个接口启动一个消费组,然后在获取数据的时候进行循环,循环获取数据,这样会不会导致进程太多了,毕竟一个接口就一个消费者,我们有30个接口
有没有其它更好的方法呢
有30个topic,2种方式,第一种每隔1、2秒去挨个拉取一遍,然后释放进程。kafka是通过默认消费者组名来保障消费位置的。
我推荐第二种,其实这种和你的第一种差不多,消费者与Kafka建立长连接之后,主动向kafka拉取的消息,而且1、2秒的间隔,如果你用第一种会反复建立连接关闭连接,这种是最消耗性能的。
好的,谢谢大佬,那我结帖咯
30个线程对应30个长连接,这种体量消耗不了多少资源的,占用其实非常小。
嗯嗯。好的。我还担心进程太多,损耗太大
大佬。求助,我去读取数据库的时候,用idea读取不到
不同的问题就不要放在一起了,发个新问题吧,把问题详细描述一下。
好的,大佬
你的答案