kafka0.8高级消费者API效率问题

克里斯蒂安 发表于: 2016-07-26   最后更新时间: 2016-07-26 13:20:45   3,423 游览

怎么提高消费者的效率，一个文件都在一个分区内，读的时候发小好慢，有办法提高效率吗？

kafka
发表于 2016-07-26
克里斯蒂安

不清楚你的文件大小，频率，等等。

本身kafka是做消息的，存过大的文件的话，应该考虑使用其他的系统了。

回复
回答于 8年前
半兽人

文件大小在200M以内，一个文件按行取，每行一个message，都放在同一个分区内

0 0 回复

文件大小200M，按行取，每行一个message，对kafka来说，发送是多条message，消费也是多条message。和正常的没有什么区别。
提问的时候一次描述清楚，提问不够详细，不知道你的场景是什么，读的很吃力，每次要问很多才能定位你的问题。

0 0 回复

额，好吧，谢谢

0 0 回复

大侠，broker设置了message.max.bytes为300M，replica.fetch.max.bytes为310M，消费者读取的时候该怎么设置fetch.meaasge.max.bytes,我这样写props.put("fetch.meaasge.max.bytes",325058560)不行,这是310M。我该怎么设置呢？

0 0 回复

message，你写错了

0 0 回复
半兽人 -> 半兽人 8年前

配置说明：https://www.orchome.com/13

0 0 回复

程序里面没错，这里错了

0 0 回复

看那下我给你的地址

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。