目前有三台服务器组成一个三个节点的kafka集群,目前元数据分类比较多,希望到kafka后具有一定的分类,也就是按topic存放,目前比较疑惑的是再不影响性能的情况下可以使用多少个topic,分区数目前是1,备份数目前是3.
发表于 2018-06-26
目前有三台服务器组成一个三个节点的kafka集群,目前元数据分类比较多,希望到kafka后具有一定的分类,也就是按topic存放,目前比较疑惑的是再不影响性能的情况下可以使用多少个topic,分区数目前是1,备份数目前是3.
你这种,主备复制最优了。
topic中的分区是性能的关键,一个分区=1个长连接。
抛开kafka的逻辑,完全取决于计算机的性能,也就是说你的计算机能创建多少长连接。
剩下就是kafka对每个长连接会提供一定的缓存池来缓存消息。
我是担心你的带宽不够。
最简单的,你可以直接写程序进行测试的,监控系统的资源情况。
你好,主备复制是指设置备份数吗?
嗯,一主一备。
主备的搭建方法其实就是博客中讲到的吗,然后再创建topic时指定备份数就可以了?
topic创建的时候设置2个副本。就是主备。
现在我们kafka集群可能会扩展到5个节点,也就是5个border,那么这种情况下几个备份比较好呢?
一样的,让集群中的topic分开存储。
意思就是两个备份就足够了,不需要五个border弄5个备份对吗?
对呀,我们生产都是主备,备5个。。性能得多低。
你的答案