OrcHome OrcHome
OrcHome个人中心.
关注

暂无关注.....

粉丝

暂无粉丝.....


王哲 回复 12345 kafka集群配置了auto.create.topics.enable=true,topic无法删除 中:
那为何会是删除后又新建?
还有就是线上的集群配置把 auto.create.topics.enable 改为 false,就可以正常删除

如果是因为权限导致的,应该不会删除后重建吧
7天前
12345 回复 王哲 kafka集群配置了auto.create.topics.enable=true,topic无法删除 中:
这个是因为你配置了权限,没办法删除zk上的sasl权限导致的。
7天前
12345 kafka 安全机制 发表评论:
就是外网映射做了验证,也可以不断攻击你的验证地址。
25天前
半兽人 回复 12345 Kafka一个Topic的partition个数如何减少? 中:
嗯,除非别的节点挂了,剩下4个才会拿到消费权。
JD这么搞,不太真实,迁移可是很耗资源的,怎么能随意迁移。
我用了这么久,也只迁移过2次。
1月前
12345 回复 半兽人 Kafka一个Topic的partition个数如何减少? 中:
应该不是永远不能接收到消息,consumer group 不是10个当中选择6个依次消费么~
话说,这样说感觉partition多数不会进行缩小操作?
我之前看到JD的报道,不是说他们docker的集群 对于这个kafka节点个数是可以动态扩充的,那么集群的partition缩小应该就是迁移做的~
1月前
半兽人 回复 12345 Kafka一个Topic的partition个数如何减少? 中:
1、更麻烦的减少分区的方式是迁移,你可以看迁移章节。
2、没有最优的配置,是根据你物理机的能力来取决一台broker机器分几个分区,还要根据你的分区有多少个消费者,【建议broker数 x 2 = 分区数,但是,还要根据你有多少个消费者。比如:你有10个消费者,3个broker,6个分区,那么就会有4个消费者永远消费不到消息,那么这个时候你就要调整为10个分区了】 

1月前
12345 赞了 kafka的Java版本
1月前
12345 回复 半兽人 Kafka一个Topic的partition个数如何减少? 中:
那么有个问题?partition个数设置多少比较合适,为Kafka的broker个数 1:1 配比么?新增节点的话,是否partition个数做相应的调整。
但是这样,缩小节点规模的话(broker减少),要保持相应的比例,partition个数没法缩小,确实是一个难题?
1月前
发表了 Kafka一个Topic的partition个数如何减少?
1月前
12345 zookeeper设置了ACL,kafka操作节点(NoAuth) 发表评论:
很明显,kafka端到zookeeper端没有拿到权限。
你的kafka_server_sasl.conf 内缺东西,可以看下我的 https://blog.csdn.net/u010416101/article/details/79562214
2月前
半兽人 回复 12345 kafka producer异步发送在失败回调里close,会失去前面retry的request的正确回调结果 中:
QQ群:472582182
2月前
12345 回复 冰点 kafka producer异步发送在失败回调里close,会失去前面retry的request的正确回调结果 中:
遇到一样的问题,谢谢提醒。
还有一个问题,kafka估计有一个返回的验证机制,发送完后立即关闭进程。会导致错误。
这个社区有群么?
2月前
12345 回复 半兽人 kafka producer发送消息send报错? 中:
为什么会这样?
2月前

王哲 回复 12345 kafka集群配置了auto.create.topics.enable=true,topic无法删除 评论:
那为何会是删除后又新建?
还有就是线上的集群配置把 auto.create.topics.enable 改为 false,就可以正常删除

如果是因为权限导致的,应该不会删除后重建吧
7天前
12345 回复 王哲 kafka集群配置了auto.create.topics.enable=true,topic无法删除 评论:
这个是因为你配置了权限,没办法删除zk上的sasl权限导致的。
7天前
12345 kafka 安全机制 发表评论:
就是外网映射做了验证,也可以不断攻击你的验证地址。
25天前
半兽人 回复 12345 Kafka一个Topic的partition个数如何减少? 评论:
嗯,除非别的节点挂了,剩下4个才会拿到消费权。
JD这么搞,不太真实,迁移可是很耗资源的,怎么能随意迁移。
我用了这么久,也只迁移过2次。
1月前
12345 回复 半兽人 Kafka一个Topic的partition个数如何减少? 评论:
应该不是永远不能接收到消息,consumer group 不是10个当中选择6个依次消费么~
话说,这样说感觉partition多数不会进行缩小操作?
我之前看到JD的报道,不是说他们docker的集群 对于这个kafka节点个数是可以动态扩充的,那么集群的partition缩小应该就是迁移做的~
1月前
半兽人 回复 12345 Kafka一个Topic的partition个数如何减少? 评论:
1、更麻烦的减少分区的方式是迁移,你可以看迁移章节。
2、没有最优的配置,是根据你物理机的能力来取决一台broker机器分几个分区,还要根据你的分区有多少个消费者,【建议broker数 x 2 = 分区数,但是,还要根据你有多少个消费者。比如:你有10个消费者,3个broker,6个分区,那么就会有4个消费者永远消费不到消息,那么这个时候你就要调整为10个分区了】 

1月前
12345 回复 半兽人 Kafka一个Topic的partition个数如何减少? 评论:
那么有个问题?partition个数设置多少比较合适,为Kafka的broker个数 1:1 配比么?新增节点的话,是否partition个数做相应的调整。
但是这样,缩小节点规模的话(broker减少),要保持相应的比例,partition个数没法缩小,确实是一个难题?
1月前
12345 zookeeper设置了ACL,kafka操作节点(NoAuth) 发表评论:
很明显,kafka端到zookeeper端没有拿到权限。
你的kafka_server_sasl.conf 内缺东西,可以看下我的 https://blog.csdn.net/u010416101/article/details/79562214
2月前
半兽人 回复 12345 kafka producer异步发送在失败回调里close,会失去前面retry的request的正确回调结果 评论:
QQ群:472582182
2月前
12345 回复 冰点 kafka producer异步发送在失败回调里close,会失去前面retry的request的正确回调结果 评论:
遇到一样的问题,谢谢提醒。
还有一个问题,kafka估计有一个返回的验证机制,发送完后立即关闭进程。会导致错误。
这个社区有群么?
2月前
12345 回复 半兽人 kafka producer发送消息send报错? 评论:
为什么会这样?
2月前

12345 赞了 kafka的Java版本
1月前