kafka集群配置了auto.create.topics.enable=true,topic无法删除

王哲 发表于: 2018-05-08   最后更新时间: 2018-05-08  
  •   0 订阅,155 游览
  1. topic 是新建的,确认无任何 producer 写入数据。
  2. 删除后查看 zookeeper 上 topic 的创建时间,发现 topic 是删除后自动创建。
  3. 查看 kafka 日志,发现 topic 是删除后自动创建的。






发表于: 15天前   最后更新时间: 15天前   游览量:155
上一条: 到头了!
下一条: 已经是最后了!

评论…


  • 试下:auto.create.topics.enable=false
    • 嗯,我是怀疑你有一些程序在调用这个主题,导致被反复创建。
      测试环境控死有个好处,这样到生产上,主题名就是规范的。如果测试环境乱命名,到该发生产就头疼了。
        • 当时也怀疑是有程序在往这个 topic 生产,然后就创建了完全不可能有人生产的新的 topic,结果还是删除后自动创建。
          生产环境的创建是有工单的,不会出现明明不规范的问题
            问题补充:一共三套 kafka 集群,其中一套在滚动重启后解决了这个问题,另外两套还是无法删除
            附上测试环境配置
            ############################# Server Basics #############################
            broker.id=1
            delete.topic.enable=true
            auto.create.topics.enable=true
            default.replication.factor=2
            num.replica.fetchers=8
            controlled.shutdown.enable=true
            auto.leader.rebalance.enable=true

            ############################# Socket Server Settings #############################
            num.network.threads=3
            num.io.threads=8
            socket.send.buffer.bytes=102400
            socket.receive.buffer.bytes=102400
            socket.request.max.bytes=104857600

            ############################# Log Basics #############################
            log.dirs=/opt/kafka-logs
            num.partitions=1
            num.recovery.threads.per.data.dir=1

            ############################# Log Flush Policy #############################
            log.flush.interval.messages=10000
            log.flush.interval.ms=1000

            ############################# Log Retention Policy #############################
            log.retention.bytes=536870912
            log.retention.hours=18
            log.segment.bytes=536870912
            log.retention.check.interval.ms=300000
            log.cleaner.enable=true
            offsets.retention.minutes=2880

            ############################# Zookeeper #############################
            zookeeper.connect=********
            zookeeper.connection.timeout.ms=6000

            ############################# SASL ##################################
            listeners=********
            security.inter.broker.protocol=SASL_PLAINTEXT
            sasl.mechanism.inter.broker.protocol=GSSAPI
            sasl.enabled.mechanisms=GSSAPI
            sasl.kerberos.service.name=kafka
            • 那为何会是删除后又新建?
              还有就是线上的集群配置把 auto.create.topics.enable 改为 false,就可以正常删除

              如果是因为权限导致的,应该不会删除后重建吧
              • 评论…
                • in this conversation
                  提问