OrcHome OrcHome
OrcHome个人中心.

烟花易冷

已关注 关注

关注

暂无关注.....

粉丝

暂无粉丝.....


半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
看看它是哪个包下的,log4j单独为它配置权限。
2天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
打扰了,还有个问题需要咨询一下您,我在使用KafkaConsumer这个类的时候,Kafkaconsumer kafkaConsumer = new KafkaConsumer(props)的时候,其在控制台一直输出它的配置,有没有什么办法把它关掉呢?我在log4j.properties中使用这个log4j.logger.org.apache.kafka.clients.consumer=OFF没有效果,还有没有其他的办法吗?
2天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
现在再做个监控,将这个offset取出来,可以进行一些消息的判断,读取了多少,有些时候,消费者组已经dead掉了,但是我们还想看看这个消费者组消费了多少数据,根据这些判断一些信息,而且以前在进行测试的时候,有一些消费者组被放弃了,现在想将这些全部都查看一下,就需要这些数据。
2天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
好奇问一句,你们采集这个干什么呢。一般我们拿offset,主要是故障重放。其他时刻靠监控来告警。
2天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
你好,昨天通过查找API,已经解决了问题,在KafkaConsumer类下,有两个方法,commited和position方法。可以获取消费者组的当前偏移量,只是需要查询的速度慢了些,现在正在优化。
2天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
好的,麻烦您了,万分感谢
3天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
我现在有点忙,这种需求你是第一个额,活跃的消费者可以直接打印出来offset,稍后在帮你找,
3天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
是的,我现在在用这个方法adminClient.describeConsumerGroup(),但有时候总是调不到。
3天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
你的意思是想看某个消费者组已经消费到哪个位置了吗?
3天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
嗯嗯,刚看完API,了解了,那有没有相应的API,可以查询消费者提交的offset呢?
3天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
我给你发的这3个方法,属于查找定位offset,跟正常的消费者流程无关,只是通过这3种方法,来获取offset而已,你可以通过获取的offset重新消费你的消息。是2种流程。
3天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
还是说这个方法查询出来的offset值,也包括了曾经消费过后提交过的offset,
3天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
您好,还是有些不解,再次麻烦,第一种方法返回的是分区也就是topic的存在的第一个消息的offset,如果按照正常的情况,消费者应该消费的下一个消息就应该是这个,提交的也就是这个消息的offset,是这个意思吗?如果是按照我的理解,那么如果中间的消息断掉了,消费者组提交的offset是不是就与这个offset之间有着很大的差值了?如果您有时间,可以帮解答一下吗。。。。
3天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
consumer.offsetsForTimes();
consumer.beginningOffsets();
consumer.endOffsets()

3天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
又来拜访,请问一下,java能直接读取kafka0.10.2版本的_consumer_offset里面的offset数据吗?我现在已经将Group消费者组全部获取,但是其状态为“dead",我能根据他的groupId,topic,partition这些数据去查询他的offset吗?
3天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
具体可以把源码down下来看看。
http://orchome.com/621

8天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
可以证明,offset不会被删,会持续传递。
8天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
还有,我想请教一下,kafka是用GroupCoordinator来进行group的管理的,那么是不是可以在java中实例化一个GroupCoordinator,然后进行kafka的链接,进行group的查询?因为只是知道GroupCoordinator这个的存在,没有看过了解太多,只是有这么一个想法,不知道原理,想请教一下。
8天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
还有个问题想请教一下,我用这个命令”./kafka-consumer-groups.sh --bootstrap-server 10.0.59.86:9092,10.0.59.87:9093,10.0.59.88:9094 --list --new-consumer“在kafka中查询了一下,没有消费者组,然后我又用这个命令查询了一下” bin/kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition 20 --broker-list 10.0.59.86:9092,10.0.59.87:9093,10.0.59.88:9094 --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter"“,有offset可以查询得到,那是否证明着这个消费者组已经是”dead“的状态了?查询出来的offset这是没有过期被删除?
8天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
额,只能获取活跃的。我之前看过monitor源码,也是这样,自己留了个缓存,记录之前的消费者组。
8天前
发表了 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法?
9天前

半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
看看它是哪个包下的,log4j单独为它配置权限。
2天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
打扰了,还有个问题需要咨询一下您,我在使用KafkaConsumer这个类的时候,Kafkaconsumer kafkaConsumer = new KafkaConsumer(props)的时候,其在控制台一直输出它的配置,有没有什么办法把它关掉呢?我在log4j.properties中使用这个log4j.logger.org.apache.kafka.clients.consumer=OFF没有效果,还有没有其他的办法吗?
2天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
现在再做个监控,将这个offset取出来,可以进行一些消息的判断,读取了多少,有些时候,消费者组已经dead掉了,但是我们还想看看这个消费者组消费了多少数据,根据这些判断一些信息,而且以前在进行测试的时候,有一些消费者组被放弃了,现在想将这些全部都查看一下,就需要这些数据。
2天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
好奇问一句,你们采集这个干什么呢。一般我们拿offset,主要是故障重放。其他时刻靠监控来告警。
2天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
你好,昨天通过查找API,已经解决了问题,在KafkaConsumer类下,有两个方法,commited和position方法。可以获取消费者组的当前偏移量,只是需要查询的速度慢了些,现在正在优化。
2天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
好的,麻烦您了,万分感谢
3天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
我现在有点忙,这种需求你是第一个额,活跃的消费者可以直接打印出来offset,稍后在帮你找,
3天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
是的,我现在在用这个方法adminClient.describeConsumerGroup(),但有时候总是调不到。
3天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
你的意思是想看某个消费者组已经消费到哪个位置了吗?
3天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
嗯嗯,刚看完API,了解了,那有没有相应的API,可以查询消费者提交的offset呢?
3天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
我给你发的这3个方法,属于查找定位offset,跟正常的消费者流程无关,只是通过这3种方法,来获取offset而已,你可以通过获取的offset重新消费你的消息。是2种流程。
3天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
还是说这个方法查询出来的offset值,也包括了曾经消费过后提交过的offset,
3天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
您好,还是有些不解,再次麻烦,第一种方法返回的是分区也就是topic的存在的第一个消息的offset,如果按照正常的情况,消费者应该消费的下一个消息就应该是这个,提交的也就是这个消息的offset,是这个意思吗?如果是按照我的理解,那么如果中间的消息断掉了,消费者组提交的offset是不是就与这个offset之间有着很大的差值了?如果您有时间,可以帮解答一下吗。。。。
3天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
consumer.offsetsForTimes();
consumer.beginningOffsets();
consumer.endOffsets()

3天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
又来拜访,请问一下,java能直接读取kafka0.10.2版本的_consumer_offset里面的offset数据吗?我现在已经将Group消费者组全部获取,但是其状态为“dead",我能根据他的groupId,topic,partition这些数据去查询他的offset吗?
3天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
具体可以把源码down下来看看。
http://orchome.com/621

8天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
可以证明,offset不会被删,会持续传递。
8天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
还有,我想请教一下,kafka是用GroupCoordinator来进行group的管理的,那么是不是可以在java中实例化一个GroupCoordinator,然后进行kafka的链接,进行group的查询?因为只是知道GroupCoordinator这个的存在,没有看过了解太多,只是有这么一个想法,不知道原理,想请教一下。
8天前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
还有个问题想请教一下,我用这个命令”./kafka-consumer-groups.sh --bootstrap-server 10.0.59.86:9092,10.0.59.87:9093,10.0.59.88:9094 --list --new-consumer“在kafka中查询了一下,没有消费者组,然后我又用这个命令查询了一下” bin/kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition 20 --broker-list 10.0.59.86:9092,10.0.59.87:9093,10.0.59.88:9094 --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter"“,有offset可以查询得到,那是否证明着这个消费者组已经是”dead“的状态了?查询出来的offset这是没有过期被删除?
8天前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
额,只能获取活跃的。我之前看过monitor源码,也是这样,自己留了个缓存,记录之前的消费者组。
8天前