OrcHome OrcHome
OrcHome个人中心.

桑代克

已关注 关注

关注

暂无关注.....

粉丝

暂无粉丝.....


桑代克 回复 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
谢谢谢谢~
23天前
回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
我这边没有降低版本,最后发现是用于偏移量的__consumer_offsets这个topic不知道为什么没了。我手动创建后,重启可以用了。供你参考
24天前
桑代克 回复 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
我最终还是降低了版本,好像是CDH还是没有支持到0.10之后的版本
24天前
回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
我也遇到了一模一样的问题,我是用的是CDH5.15,kafka装的3.1.0,同样也是可以生产,但是不能消费。切到别的机器上的原生kafka就正常了。
问下这个问题的产生原因你有继续探究吗,除了降低版本?
25天前
半兽人 回复 桑代克 请问有相关的Java API可以查到kafka哪台服务器是controller吗? 中:
不过我们都通过monitor进行监控,不需要单独调用API进行特别管理的。
1月前
半兽人 回复 桑代克 请问有相关的Java API可以查到kafka哪台服务器是controller吗? 中:
命令的话,你可以在命令大全 http://orchome.com/454 找。
API的话是有的,不过你要自己找,太久了我忘记名字了,你可以在KafkaOffsetMonitor源码找下。
1月前
桑代克 回复 半兽人 请问有相关的Java API可以查到kafka哪台服务器是controller吗? 中:
就是在Kafka集群中的一个broker会被作为controller负责管理分区和副本的状态以及执行类似于重分配分区之类的管理任务。我想知道我的集群哪一个broker是作为这个controller的?可有相关的Java Api可以查到这个?
1月前
发表了 请问有相关的Java API可以查到kafka哪台服务器是controller吗?
1月前
半兽人 回复 桑代克 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 中:
那你要严格控制拉取批次的大小,然后已批次提交,提交和处理消息逻辑没有关联,否则将受到影响。
3月前
桑代克 回复 半兽人 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 中:
嗯嗯,我想请问,如果要求一次消费1000条消息,这样子是不是poll信息后,仅取1000条,然后获得第1000条的偏移量提交,这种做法是可以的吧?
3月前
半兽人 回复 桑代克 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 中:
你代码我看不懂额。我怀疑是consumer.commitSync和break;这俩块地方。
参考:http://orchome.com/451 的例子,把你的逻辑先去掉,没问题了在嵌入你的逻辑。

3月前
桑代克 回复 半兽人 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 中:
关了呀
3月前
发表了 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946
3月前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
谢谢谢谢。上面的第一个问题通过降低CDH中的kafka版本为0.10解决了
3月前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
这个是引用的所有模块,平常我们都是引单个模块,如:client,streams。
3月前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
显示所有topic都是正常的,我把这个程序放到仅装了kafka的机器上是可以成功拉取消息的,感觉可能是和CDH有关,CDH最新只支持到kafka0.11,这方面它的包好像还有问题。我现在打算把CDH上的kakfa回退一个版本到0.10试试看,您感觉这样可以不?还有一个问题想请教一下大神,在很多demo中都会用到这个maven依赖<groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>0.11.0.0</version>,但是官网上并没有写它,我想请问一下它是提供了哪些功能?
3月前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
还真是神奇了,看看集群对应的主题状态。
bin/kafka-topics.sh --zookeeper localhost:2181 --describe

3月前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
是同一台机器,换了ip也不行
3月前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
你把host-129-159换成ip试试。
程序和集群是同一台机器吗?
3月前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
换了呀,还是不可以
3月前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
换个消费者名字先。
3月前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
可以通的,但还是不行,一样报错。不知道会不会是跟我使用了CDH有关?但是我程序写的生产者是可以正常跑通生产消息的
3月前
发表了 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题
3月前
发表了 kafka Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded
3月前
发表了 kafka生产者发送消息失败导致内存溢出java.lang.OutOfMemoryError:Java heap space,请教如何解决?
3月前

桑代克 回复 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
谢谢谢谢~
23天前
回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
我这边没有降低版本,最后发现是用于偏移量的__consumer_offsets这个topic不知道为什么没了。我手动创建后,重启可以用了。供你参考
24天前
桑代克 回复 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
我最终还是降低了版本,好像是CDH还是没有支持到0.10之后的版本
24天前
回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
我也遇到了一模一样的问题,我是用的是CDH5.15,kafka装的3.1.0,同样也是可以生产,但是不能消费。切到别的机器上的原生kafka就正常了。
问下这个问题的产生原因你有继续探究吗,除了降低版本?
25天前
半兽人 回复 桑代克 请问有相关的Java API可以查到kafka哪台服务器是controller吗? 评论:
不过我们都通过monitor进行监控,不需要单独调用API进行特别管理的。
1月前
半兽人 回复 桑代克 请问有相关的Java API可以查到kafka哪台服务器是controller吗? 评论:
命令的话,你可以在命令大全 http://orchome.com/454 找。
API的话是有的,不过你要自己找,太久了我忘记名字了,你可以在KafkaOffsetMonitor源码找下。
1月前
桑代克 回复 半兽人 请问有相关的Java API可以查到kafka哪台服务器是controller吗? 评论:
就是在Kafka集群中的一个broker会被作为controller负责管理分区和副本的状态以及执行类似于重分配分区之类的管理任务。我想知道我的集群哪一个broker是作为这个controller的?可有相关的Java Api可以查到这个?
1月前
半兽人 回复 桑代克 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 评论:
那你要严格控制拉取批次的大小,然后已批次提交,提交和处理消息逻辑没有关联,否则将受到影响。
3月前
桑代克 回复 半兽人 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 评论:
嗯嗯,我想请问,如果要求一次消费1000条消息,这样子是不是poll信息后,仅取1000条,然后获得第1000条的偏移量提交,这种做法是可以的吧?
3月前
半兽人 回复 桑代克 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 评论:
你代码我看不懂额。我怀疑是consumer.commitSync和break;这俩块地方。
参考:http://orchome.com/451 的例子,把你的逻辑先去掉,没问题了在嵌入你的逻辑。

3月前
桑代克 回复 半兽人 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 评论:
关了呀
3月前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
谢谢谢谢。上面的第一个问题通过降低CDH中的kafka版本为0.10解决了
3月前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
这个是引用的所有模块,平常我们都是引单个模块,如:client,streams。
3月前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
显示所有topic都是正常的,我把这个程序放到仅装了kafka的机器上是可以成功拉取消息的,感觉可能是和CDH有关,CDH最新只支持到kafka0.11,这方面它的包好像还有问题。我现在打算把CDH上的kakfa回退一个版本到0.10试试看,您感觉这样可以不?还有一个问题想请教一下大神,在很多demo中都会用到这个maven依赖<groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>0.11.0.0</version>,但是官网上并没有写它,我想请问一下它是提供了哪些功能?
3月前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
还真是神奇了,看看集群对应的主题状态。
bin/kafka-topics.sh --zookeeper localhost:2181 --describe

3月前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
是同一台机器,换了ip也不行
3月前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
你把host-129-159换成ip试试。
程序和集群是同一台机器吗?
3月前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
换了呀,还是不可以
3月前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
换个消费者名字先。
3月前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
可以通的,但还是不行,一样报错。不知道会不会是跟我使用了CDH有关?但是我程序写的生产者是可以正常跑通生产消息的
3月前