现在不确认是因为什么挂的,看报错日志一直都是报的java.IO后面是打开文件数过多,刚接触kafka没多长时间对kafka不是很了解,所以想请教一下
上面我回复的逻辑说过了,kafka与消费者之间都是长连接,
连接数量 = 分区数 * 消费者组
的数量
你现在是否确认kafka挂了的原因?是内存溢出导致kafka崩溃?还是其他的
大神请教一下,我的kafka是三台,消费者是连接的后端的服务,现在kafka跑两到三个小时就挂了,一直报打开文件数过多,而且我也把系统用户文件数也调成65535了,还是不行,请问还有哪块需要设置
也就是说,如果该客户端监听了3个分区,就有三个长连接?
这有两种情况:
1.如果这3个分区都在不同broker,那三个长连接肯定需要
2.如果3个分区都在同一个broker,是否只需要一个长连接就可以了?