OrcHome OrcHome
OrcHome个人中心.

桑代克

已关注 关注

关注

暂无关注.....

粉丝

暂无粉丝.....


半兽人 回复 桑代克 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 中:
那你要严格控制拉取批次的大小,然后已批次提交,提交和处理消息逻辑没有关联,否则将受到影响。
8天前
桑代克 回复 半兽人 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 中:
嗯嗯,我想请问,如果要求一次消费1000条消息,这样子是不是poll信息后,仅取1000条,然后获得第1000条的偏移量提交,这种做法是可以的吧?
9天前
半兽人 回复 桑代克 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 中:
你代码我看不懂额。我怀疑是consumer.commitSync和break;这俩块地方。
参考:http://orchome.com/451 的例子,把你的逻辑先去掉,没问题了在嵌入你的逻辑。

9天前
桑代克 回复 半兽人 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 中:
关了呀
9天前
发表了 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946
9天前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
谢谢谢谢。上面的第一个问题通过降低CDH中的kafka版本为0.10解决了
15天前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
这个是引用的所有模块,平常我们都是引单个模块,如:client,streams。
15天前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
显示所有topic都是正常的,我把这个程序放到仅装了kafka的机器上是可以成功拉取消息的,感觉可能是和CDH有关,CDH最新只支持到kafka0.11,这方面它的包好像还有问题。我现在打算把CDH上的kakfa回退一个版本到0.10试试看,您感觉这样可以不?还有一个问题想请教一下大神,在很多demo中都会用到这个maven依赖<groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>0.11.0.0</version>,但是官网上并没有写它,我想请问一下它是提供了哪些功能?
15天前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
还真是神奇了,看看集群对应的主题状态。
bin/kafka-topics.sh --zookeeper localhost:2181 --describe

16天前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
是同一台机器,换了ip也不行
16天前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
你把host-129-159换成ip试试。
程序和集群是同一台机器吗?
16天前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
换了呀,还是不可以
16天前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
换个消费者名字先。
16天前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 中:
可以通的,但还是不行,一样报错。不知道会不会是跟我使用了CDH有关?但是我程序写的生产者是可以正常跑通生产消息的
16天前
发表了 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题
16天前
发表了 kafka Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded
20天前
半兽人 回复 桑代克 kafka生产者发送消息失败导致内存溢出java.lang.OutOfMemoryError:Java heap space,请教如何解决? 中:
因为你2个集群,所以你的topic分区要大于2,依次提升分区数来测试性能。kafka客户端是以所对应的分区进行缓存批次发送的。这块可以提高性能。
26天前
桑代克 回复 半兽人 kafka生产者发送消息失败导致内存溢出java.lang.OutOfMemoryError:Java heap space,请教如何解决? 中:
现在单条消息1KB的时候,落地速度在5Mb/s左右。配置为一个topic,一个partition,batch_size是16Kb,acks = 1,三个生产者线程发送,集群是2台服务器,每台是16G内存,2T硬盘,千兆网,redhat6.7系统;但当我消息达到2Kb时会发送失败,报上面的错误,请问是什么原因呢?还有生产速度为什么会这么慢呢?
26天前
半兽人 回复 桑代克 kafka生产者发送消息失败导致内存溢出java.lang.OutOfMemoryError:Java heap space,请教如何解决? 中:
描述一下你现在的吞吐量和集群情况。
27天前
桑代克 回复 半兽人 kafka生产者发送消息失败导致内存溢出java.lang.OutOfMemoryError:Java heap space,请教如何解决? 中:
再想请问一个问题 错误:Expiring 6713 record(s) for topic1-1: 40006 ms has passed since last append是因为生产的速度太快吗?有什么建议的解决的方案吗?
27天前
桑代克 回复 半兽人 kafka生产者发送消息失败导致内存溢出java.lang.OutOfMemoryError:Java heap space,请教如何解决? 中:
应该就是jvm内存的问题,谢谢谢谢
27天前
发表了 kafka生产者发送消息失败导致内存溢出java.lang.OutOfMemoryError:Java heap space,请教如何解决?
27天前

半兽人 回复 桑代克 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 评论:
那你要严格控制拉取批次的大小,然后已批次提交,提交和处理消息逻辑没有关联,否则将受到影响。
8天前
桑代克 回复 半兽人 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 评论:
嗯嗯,我想请问,如果要求一次消费1000条消息,这样子是不是poll信息后,仅取1000条,然后获得第1000条的偏移量提交,这种做法是可以的吧?
9天前
半兽人 回复 桑代克 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 评论:
你代码我看不懂额。我怀疑是consumer.commitSync和break;这俩块地方。
参考:http://orchome.com/451 的例子,把你的逻辑先去掉,没问题了在嵌入你的逻辑。

9天前
桑代克 回复 半兽人 kakfa简单消费消息信息丢失问题Ignoring fetched records for topic12-0 at offset 187710 since the current position is 187946 评论:
关了呀
9天前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
谢谢谢谢。上面的第一个问题通过降低CDH中的kafka版本为0.10解决了
15天前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
这个是引用的所有模块,平常我们都是引单个模块,如:client,streams。
15天前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
显示所有topic都是正常的,我把这个程序放到仅装了kafka的机器上是可以成功拉取消息的,感觉可能是和CDH有关,CDH最新只支持到kafka0.11,这方面它的包好像还有问题。我现在打算把CDH上的kakfa回退一个版本到0.10试试看,您感觉这样可以不?还有一个问题想请教一下大神,在很多demo中都会用到这个maven依赖<groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>0.11.0.0</version>,但是官网上并没有写它,我想请问一下它是提供了哪些功能?
15天前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
还真是神奇了,看看集群对应的主题状态。
bin/kafka-topics.sh --zookeeper localhost:2181 --describe

16天前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
是同一台机器,换了ip也不行
16天前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
你把host-129-159换成ip试试。
程序和集群是同一台机器吗?
16天前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
换了呀,还是不可以
16天前
半兽人 回复 桑代克 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
换个消费者名字先。
16天前
桑代克 回复 半兽人 kafka 请教关于Group coordinator lookup for group test1 failed: The coordinator is not available.的问题 评论:
可以通的,但还是不行,一样报错。不知道会不会是跟我使用了CDH有关?但是我程序写的生产者是可以正常跑通生产消息的
16天前
半兽人 回复 桑代克 kafka生产者发送消息失败导致内存溢出java.lang.OutOfMemoryError:Java heap space,请教如何解决? 评论:
因为你2个集群,所以你的topic分区要大于2,依次提升分区数来测试性能。kafka客户端是以所对应的分区进行缓存批次发送的。这块可以提高性能。
26天前
桑代克 回复 半兽人 kafka生产者发送消息失败导致内存溢出java.lang.OutOfMemoryError:Java heap space,请教如何解决? 评论:
现在单条消息1KB的时候,落地速度在5Mb/s左右。配置为一个topic,一个partition,batch_size是16Kb,acks = 1,三个生产者线程发送,集群是2台服务器,每台是16G内存,2T硬盘,千兆网,redhat6.7系统;但当我消息达到2Kb时会发送失败,报上面的错误,请问是什么原因呢?还有生产速度为什么会这么慢呢?
26天前
半兽人 回复 桑代克 kafka生产者发送消息失败导致内存溢出java.lang.OutOfMemoryError:Java heap space,请教如何解决? 评论:
描述一下你现在的吞吐量和集群情况。
27天前
桑代克 回复 半兽人 kafka生产者发送消息失败导致内存溢出java.lang.OutOfMemoryError:Java heap space,请教如何解决? 评论:
再想请问一个问题 错误:Expiring 6713 record(s) for topic1-1: 40006 ms has passed since last append是因为生产的速度太快吗?有什么建议的解决的方案吗?
27天前
桑代克 回复 半兽人 kafka生产者发送消息失败导致内存溢出java.lang.OutOfMemoryError:Java heap space,请教如何解决? 评论:
应该就是jvm内存的问题,谢谢谢谢
27天前