您好!
我的kafka今天下午的时候,一直报java.io.IOException: Too many open files。我的kafka就是一个单机版的,查看连接数也不多,就十个左右,但是打开文件数有70多万个,请问可能是什么原因造成的呢,是不是topic太多的原因呢,我在log.dirs日志目录里面看了一下,大概有400多个文件夹。配置文件的配置:
num.network.threads=8
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
num.partitions=1
num.recovery.threads.per.data.dir=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=8765
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connection.timeout.ms=6000
另外我重启kafka也不能解决这个问题,现在我应该怎么办。通过lsof查看发现确实文件太多了,log.retention.hours这个参数设置太长的原因?
这个是linux系统的设置,你调整下openfile。
linux调一下openfile,但这个不能解决根本问题,数据量一旦多了还是爆炸。
1.日志清除策略时间缩短
2.增加机器之后增加partition,负载均衡,各个机器的数据就不会太多
你这个量得有多大。6.5W都占完了?
你的答案