kafka性能、效率和topic的关系

Fate. Fire 发表于: 2018-06-26   最后更新时间: 2018-06-26 14:44:51   4,200 游览

目前有三台服务器组成一个三个节点的kafka集群,目前元数据分类比较多,希望到kafka后具有一定的分类,也就是按topic存放,目前比较疑惑的是再不影响性能的情况下可以使用多少个topic,分区数目前是1,备份数目前是3.

发表于 2018-06-26

你这种,主备复制最优了。
topic中的分区是性能的关键,一个分区=1个长连接。
抛开kafka的逻辑,完全取决于计算机的性能,也就是说你的计算机能创建多少长连接。
剩下就是kafka对每个长连接会提供一定的缓存池来缓存消息。
我是担心你的带宽不够。

最简单的,你可以直接写程序进行测试的,监控系统的资源情况。

你好,主备复制是指设置备份数吗?

嗯,一主一备。

主备的搭建方法其实就是博客中讲到的吗,然后再创建topic时指定备份数就可以了?

topic创建的时候设置2个副本。就是主备。

现在我们kafka集群可能会扩展到5个节点,也就是5个border,那么这种情况下几个备份比较好呢?

一样的,让集群中的topic分开存储。

意思就是两个备份就足够了,不需要五个border弄5个备份对吗?

对呀,我们生产都是主备,备5个。。性能得多低。

你的答案

查看kafka相关的其他问题或提一个您自己的问题