kafka能支持多大的producer并发发送消息，跟那些参数有关？

l. 发表于: 2018-01-08   最后更新时间: 2018-01-08 18:13:28   7,016 游览

我们现场有这种适用场景，几万的终端，想直接把日志发送至kafka，然后再统一处理

kafka
发表于 2018-01-08
l.
添加评论

终端设备？那是要走外网的吧。

回复
回答于 6年前
半兽人
l. -> 半兽人 6年前

内网终端

0 0 回复
半兽人 -> l. 6年前

理论上你的瓶颈不会在生产者上。客户端方面没什么可调整的。

0 0 回复
l. -> 半兽人 6年前

我测试过1万个线程同时往一个topic发消息，会出现发送失败情况，5000个线程能正常发送。我想问的就是kafka服务端这边怎么调整可以支持更多的线程并发。

0 0 回复
l. -> 半兽人 6年前

我尝试过将 num.network.threads、socket.receive.buffer.bytes、socket.request.max.bytes、socket.send.buffer.bytes
这些参数调大，但都没什么用

0 0 回复
半兽人 -> l. 6年前
你的测试很可能不贴合实际的环境，1万个线程是共用一个物理连接，还是1万个物理连接？
每个服务器的吞吐量多少，你建了多少个分区？
0 0 回复
l. -> 半兽人 6年前

我是单机上启的1万个线程。
如果每个连接都是长连接，服务端这边应该会受到socket端口个数限制吧

0 0 回复
半兽人 -> l. 6年前

真实场景不就是这样么。跟服务器设置的openfile，kakfa的内存数等有关。

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。