消费者消费磁盘内的数据占据磁盘过多资源导致生产者性能降低,甚至造成生产者发送数据超时异常

小脑袋贼大 发表于: 2018-04-17   最后更新时间: 2018-04-17 21:06:50   2,196 游览

我在对kafka的生产者和消费者做压力测试,生产者拼命的发数据到kafka,消费者拼命地消费数据,但消费者是从头开始消费数据,也就是说消费者走的磁盘IO,没有使用缓存数据,这时由于消费者在疯狂读磁盘,导致磁盘的资源都被他用掉,磁盘IO队列用满,生产者无法向磁盘写数据,几十秒后生产者抛出大量超时异常。

即使消费者不会占据磁盘的全部IO,只要消费者消费了kafka较老的数据使用了磁盘IO,就会影响到生产者的性能。

请问有什么办法解决以上的问题么?

发表于 2018-04-17
添加评论

用限流控制。防止某个客户端占用大量的资源。

你的答案

查看kafka相关的其他问题或提一个您自己的问题