kafka没有相关的功能,只能靠你的消费者逻辑来实现(很复杂,还要增加队列和线程池,如果宕机数据全丢了等)。
另外,我想到变通的方式是:
kafka没有相关的功能,只能靠你的消费者逻辑来实现(很复杂,还要增加队列和线程池,如果宕机数据全丢了等)。
另外,我想到变通的方式是:
看这个saveLo*这个方法单线程的情况下一秒能处理多少(主要的是你这方法的执行速度) 然后在批量消费合理分配线程
你现在这种方式消费数据量大的时候 kafka确实能做到秒ack(因为你异步处理) 压力全在线程池 如果线程池配置的是阻塞队列那就可以能丢数据,如果是非阻塞的 就不知道几百万下来 你内存能不能吃的住 同样的数据全部堆在内存队列安全系数很低