我在对kafka的生产者和消费者做压力测试,生产者拼命的发数据到kafka,消费者拼命地消费数据,但消费者是从头开始消费数据,也就是说消费者走的磁盘IO,没有使用缓存数据,这时由于消费者在疯狂读磁盘,导致磁盘的资源都被他用掉,磁盘IO队列用满,生产者无法向磁盘写数据,几十秒后生产者抛出大量超时异常。 即使消费者不会占据磁盘的全部IO,只要消费者消费了kafka较老的数据使用了磁盘IO,就会影响到生产者的性能。 请问有什么办法解决以上的问题么?
用限流控制。防止某个客户端占用大量的资源。
你的答案