KafkaOffsetMonitor线上环境监控不到消费组 测试环境可以。

 发表于: 2018-01-21   最后更新时间: 2018-01-21  
  •   26 订阅,595 游览

你好,我用的是KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar ,在测试环境连接线上zk 是可以监控到线上的消费组 集群列表的,同样的脚本 在线上服务器就监控不到。唯一的区别就是线上服务器不能访问外网,测试环境可以,请问这个KafkaOffsetMonitor 线上部署必须访问外网吗 js和css已经本地化了。







发表于: 4月前   最后更新时间: 4月前   游览量:595
上一条: kafka 部署了kerberos之后,producer可以正常往topic里写消息,consumer无法消费消息
下一条: Kafka使用kerberos连接zookeeper时无法连接,帮忙看看,感谢!

评论…


  • http://orchome.com/54
    看下你的【Offset存储位置】
    • 狐火浏览器可能有问题, 我的脚本是这样的nohup java -Xms512M -Xmx512M -Xss1024K -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar \
      com.quantifind.kafka.offsetapp.OffsetGetterWeb \
      --offsetStorage kafka \
      --zk zk-server1,zkserver2/logKafka \
      --port 8100 \
      --refresh 10.seconds \
      --retain 1.days 1>./stdout.log 2>./stderr.log &  kafka是新版本的 存储kafka,奇怪的是 在测试环境 配置监控线上的zk 消费组都能显示,在线上服务器就只能看到集群列表  消费组无法显示。日志也没有任何报错,日志连接zk后就不打印日志了,正常情况会打印日志。
        • 执行后 显示 The --new-consumer option is deprecated and will be removed in a future major release.The new consumer is used by default if the --bootstrap-server option is provided.
          Note: This will not show information about old Zookeeper-based consumers.

          platform_group   消费组是存在的。
            • 真是奇怪了,http://orchome.com/454 命令都试过了 都正常消费 ,启动了监控就是没有消费组 topic点进去Unable to find Active Consumers,集群列表显示正常。  同样的脚本 放在测试服务器启动。监控就正常了。实在想不明白,哪块出的问题。
                本地化后,是不需要访问外网的。
                • 018-01-22 10:01:05 INFO  VerifiableProperties:68 - Property auto.commit.enable is overridden to false
                  2018-01-22 10:01:05 INFO  VerifiableProperties:68 - Property auto.offset.reset is overridden to largest
                  2018-01-22 10:01:05 INFO  VerifiableProperties:68 - Property exclude.internal.topics is overridden to false
                  2018-01-22 10:01:05 INFO  VerifiableProperties:68 - Property group.id is overridden to KafkaOffsetMonitor-1516586465760
                  2018-01-22 10:01:05 INFO  VerifiableProperties:68 - Property zookeeper.connect is overridden to zk-server/logKafka  在线上启动监控脚本,看日志打印这就不动了。在测试环境,同样的脚本 监控线上zk地址,会打印2018-01-22 10:02:57 INFO  OffsetGetterWeb$:68 - reporting 4
                  2018-01-22 10:03:02 INFO  KafkaOffsetGetter$:68 - Processed commit message: [platform_group,platform_log_topic,2] => OffsetAndMetadata[1,NO_METADATA,1516586582141]
                  • 评论…
                    • in this conversation
                      提问