OrcHome OrcHome
OrcHome个人中心.
無名 修改资料 更换头像
关注(0) 粉丝(0) 积分(0)
关注

暂无关注.....

粉丝

暂无粉丝.....


傲月 回复 無名 请问kafka报"__consumer_offsets" notleaderforpartitionexception 异常是什么原因造成的?参数设置的不合理? 中:
因为数据量很大,有没有可能是num.replica.fetchers开的太小了.导致follower从ISR中频繁被移除.
10月前
無名 回复 傲月 请问kafka报"__consumer_offsets" notleaderforpartitionexception 异常是什么原因造成的?参数设置的不合理? 中:
重启下集群试试
10月前
傲月 回复 無名 请问kafka报"__consumer_offsets" notleaderforpartitionexception 异常是什么原因造成的?参数设置的不合理? 中:
不好意思,刚才忘说了,我用的版本是0.8.2的.
我看官网上写的0.8.2的也会用到__consumer_offsets.
然后我用kafka-preferred-replica-election.sh --zookeeper localhost:2181重新分布了下.
在重新之前查了下,leader和isr都是不均匀的.重新分布后,查了下,还是不均匀.并且notleaderforpartitionexception还在报.

10月前
無名 请问kafka报"__consumer_offsets" notleaderforpartitionexception 异常是什么原因造成的?参数设置的不合理? 发表评论:
notLeaderForPartitionException是说没有找到该分区的leader。
0.9+的kafka版本,offset默认存储__consumer_offsets,你可以通过命令检查下集群节点是否正常。
10月前
漂泊的美好 回复 無名 启用kerberos后,producer,consumer 的java API 中:
要不要在java代码中加入// Authenticating Kerberos principal
System.out.println("Principal Authentication: ");
final String user = "kafka-client-1@HADOOP.COM";
final String keyPath = "/etc/kafka/conf/kafka_client.keytab";
UserGroupInformation.loginUserFromKeytab(user, keyPath);

10月前
漂泊的美好 回复 無名 启用kerberos后,producer,consumer 的java API 中:
因为之前,采用命令行的方式进行生产消费时,就是写得9092
10月前
無名 回复 漂泊的美好 启用kerberos后,producer,consumer 的java API 中:
sorry,看到你已经加了,还有,确认下你的地址是9092么? 一般kerberos的端口都不是这个。
10月前
無名 回复 漂泊的美好 启用kerberos后,producer,consumer 的java API 中:
1、和client配置的一致说明是正确的
2、命令的consumer和producer都成功,说明kerberos环境是正确的,并且已搭建成功。
缺少 sasl.kerberos.service.name=kafka。

java客户端发送不成功,有错误提示么。同时也观察下kerberos的日志,看看是否注册成功。

10月前
漂泊的美好 回复 無名 启用kerberos后,producer,consumer 的java API 中:
kafka_client_jaas.conf这个我引入到了kafka-run-class.sh的JVM performance options的参数里面了,不知道正确吗?

10月前
漂泊的美好 回复 無名 启用kerberos后,producer,consumer 的java API 中:
引入了,而且producer和consumer的命令行工具已经可以用了。
10月前
無名 启用kerberos后,producer,consumer 的java API 发表评论:
你的客户端的jvm环境里面,引入类似的kafka_server_jaas.conf了吗?
10月前
发表了 maven命令更新版本号

10月前
無名 回复 流川枫 kafka 生产者调用MessageChannel.send() 消息发送确认问题 中:
我们是弃用了,用spring自己封装的,kafka很简单,你把它当数据库来看,每个连接用连接池实现,一样的(因为我们用了同步,而非异步)。
10月前
流川枫 回复 無名 kafka 生产者调用MessageChannel.send() 消息发送确认问题 中:
你的意思是不引用spring-integration-kafka这个jar包,而是直接引用spring框架还有 0.10kafka-cilent.jar就好?这样不引用spring-integration-kafka效率会不会差?

10月前
無名 kafka 生产者调用MessageChannel.send() 消息发送确认问题 发表评论:
kafka发送有几种模式
1、发送不应答
2、发送主节点应答
3、发送主节点和备节点都应答。
spring-integration-kafka我以前看了下,只是浅显的连接,因为kafka只支持0.8,所以就没有使用了,你可以依照上面3种模式找一下。
callback()是挺好用的,整合在spring也是可行的。

10月前
发表了 kerberos安装使用

1年前
发表了 KafkaStreams客户端(0.10.0.0 API)

1年前
发表了 Kafka Streams API

1年前
发表了 kafka生产者客户端(0.10.1.1API)

1年前
发表了 kafka的生态系统

1年前
发表了 使用Kafka Stream处理数据

1年前
发表了 使用Kafka Connect来导入/导出数据

1年前
发表了 理解virt res shr之间的关系

1年前
发表了 free详解

1年前
发表了 为什么kafka消费消息不完整?

1年前
发表了 Java8 什么是λ表达式

1年前
发表了 Java8 stream入门

1年前
发表了 Java8 lambda表达式

1年前
发表了 Java8 不要再用循环了

1年前
发表了 interllij idea生成javadoc

1年前
发表了 如何理解函数式编程

1年前
发表了 函数式编程的优点

1年前
发表了 如何理解程序中的stream

1年前
发表了 Scala => Unit 与 () =>Unit的区别

1年前
sunny 回复 無名 kafka生产数据时报TimeoutException异常 中:
好的,谢谢,是生产者不通。生产一会就不行了
1年前
無名 回复 sunny kafka生产数据时报TimeoutException异常 中:
先根据我给你的地址,先检查一遍,保证服务器和应用机之间的配置正确。每一步都要验证!
1年前
sunny 回复 無名 kafka生产数据时报TimeoutException异常 中:
补充,异常信息 LEADER_NOT_AVAILABLE

1年前
無名 回复 sunny kafka生产数据时报TimeoutException异常 中:
你这就是生产者调不通啊,http://orchome.com/141 这篇文章看下。
1年前
sunny 回复 無名 kafka生产数据时报TimeoutException异常 中:
正确配置应该是什么样的?
1年前
sunny 回复 無名 kafka生产数据时报TimeoutException异常 中:
生产者一台主机,消费者与broker集群在同一台物理机上,现在的错误进一步定位到,在生产时,获取meta信息为空,导致的抛出下面的异常:
org.apache.kafka.common.errors.TimeoutException: Batch containing 1 record(s) expired due to timeout while requesting metadata from brokers for testTopic9-1
16/06/17 17:43:33 ERROR internals.RecordBatch: Error executing user-provided callback on message for topic-partition testTopic9-1:
org.apache.kafka.common.errors.TimeoutException: Batch containing 1 record(s) expired due to timeout while requesting metadata from brokers for testTopic9-0
16/06/17 17:43:33 ERROR internals.RecordBatch: Error executing user-provided callback on message for topic-partition testTopic9-0:
部分代码如下
kafkaProducer.send(record,new Callback() { 
                        public void onCompletion(RecordMetadata metadata, Exception e) { 
                           
                            if(null != e) { 
                                System.out.println("metadata信息 >>>>  " + metadata);
                                e.printStackTrace();
                               System.out.println("发生异常: the offset of the send record is {}" +  metadata.offset()); 
                               //记录异常日志
                            
                            } 
                            System.out.println("生产了数据:" +  metadata.offset());
                        } 
                    });

1年前

傲月 回复 無名 请问kafka报"__consumer_offsets" notleaderforpartitionexception 异常是什么原因造成的?参数设置的不合理? 评论:
因为数据量很大,有没有可能是num.replica.fetchers开的太小了.导致follower从ISR中频繁被移除.
10月前
無名 回复 傲月 请问kafka报"__consumer_offsets" notleaderforpartitionexception 异常是什么原因造成的?参数设置的不合理? 评论:
重启下集群试试
10月前
傲月 回复 無名 请问kafka报"__consumer_offsets" notleaderforpartitionexception 异常是什么原因造成的?参数设置的不合理? 评论:
不好意思,刚才忘说了,我用的版本是0.8.2的.
我看官网上写的0.8.2的也会用到__consumer_offsets.
然后我用kafka-preferred-replica-election.sh --zookeeper localhost:2181重新分布了下.
在重新之前查了下,leader和isr都是不均匀的.重新分布后,查了下,还是不均匀.并且notleaderforpartitionexception还在报.

10月前
無名 请问kafka报"__consumer_offsets" notleaderforpartitionexception 异常是什么原因造成的?参数设置的不合理? 发表评论:
notLeaderForPartitionException是说没有找到该分区的leader。
0.9+的kafka版本,offset默认存储__consumer_offsets,你可以通过命令检查下集群节点是否正常。
10月前
漂泊的美好 回复 無名 启用kerberos后,producer,consumer 的java API 评论:
要不要在java代码中加入// Authenticating Kerberos principal
System.out.println("Principal Authentication: ");
final String user = "kafka-client-1@HADOOP.COM";
final String keyPath = "/etc/kafka/conf/kafka_client.keytab";
UserGroupInformation.loginUserFromKeytab(user, keyPath);

10月前
漂泊的美好 回复 無名 启用kerberos后,producer,consumer 的java API 评论:
因为之前,采用命令行的方式进行生产消费时,就是写得9092
10月前
無名 回复 漂泊的美好 启用kerberos后,producer,consumer 的java API 评论:
sorry,看到你已经加了,还有,确认下你的地址是9092么? 一般kerberos的端口都不是这个。
10月前
無名 回复 漂泊的美好 启用kerberos后,producer,consumer 的java API 评论:
1、和client配置的一致说明是正确的
2、命令的consumer和producer都成功,说明kerberos环境是正确的,并且已搭建成功。
缺少 sasl.kerberos.service.name=kafka。

java客户端发送不成功,有错误提示么。同时也观察下kerberos的日志,看看是否注册成功。

10月前
漂泊的美好 回复 無名 启用kerberos后,producer,consumer 的java API 评论:
kafka_client_jaas.conf这个我引入到了kafka-run-class.sh的JVM performance options的参数里面了,不知道正确吗?

10月前
漂泊的美好 回复 無名 启用kerberos后,producer,consumer 的java API 评论:
引入了,而且producer和consumer的命令行工具已经可以用了。
10月前
無名 启用kerberos后,producer,consumer 的java API 发表评论:
你的客户端的jvm环境里面,引入类似的kafka_server_jaas.conf了吗?
10月前
無名 回复 流川枫 kafka 生产者调用MessageChannel.send() 消息发送确认问题 评论:
我们是弃用了,用spring自己封装的,kafka很简单,你把它当数据库来看,每个连接用连接池实现,一样的(因为我们用了同步,而非异步)。
10月前
流川枫 回复 無名 kafka 生产者调用MessageChannel.send() 消息发送确认问题 评论:
你的意思是不引用spring-integration-kafka这个jar包,而是直接引用spring框架还有 0.10kafka-cilent.jar就好?这样不引用spring-integration-kafka效率会不会差?

10月前
無名 kafka 生产者调用MessageChannel.send() 消息发送确认问题 发表评论:
kafka发送有几种模式
1、发送不应答
2、发送主节点应答
3、发送主节点和备节点都应答。
spring-integration-kafka我以前看了下,只是浅显的连接,因为kafka只支持0.8,所以就没有使用了,你可以依照上面3种模式找一下。
callback()是挺好用的,整合在spring也是可行的。

10月前
sunny 回复 無名 kafka生产数据时报TimeoutException异常 评论:
好的,谢谢,是生产者不通。生产一会就不行了
1年前
無名 回复 sunny kafka生产数据时报TimeoutException异常 评论:
先根据我给你的地址,先检查一遍,保证服务器和应用机之间的配置正确。每一步都要验证!
1年前
sunny 回复 無名 kafka生产数据时报TimeoutException异常 评论:
补充,异常信息 LEADER_NOT_AVAILABLE

1年前
無名 回复 sunny kafka生产数据时报TimeoutException异常 评论:
你这就是生产者调不通啊,http://orchome.com/141 这篇文章看下。
1年前
sunny 回复 無名 kafka生产数据时报TimeoutException异常 评论:
正确配置应该是什么样的?
1年前
sunny 回复 無名 kafka生产数据时报TimeoutException异常 评论:
生产者一台主机,消费者与broker集群在同一台物理机上,现在的错误进一步定位到,在生产时,获取meta信息为空,导致的抛出下面的异常:
org.apache.kafka.common.errors.TimeoutException: Batch containing 1 record(s) expired due to timeout while requesting metadata from brokers for testTopic9-1
16/06/17 17:43:33 ERROR internals.RecordBatch: Error executing user-provided callback on message for topic-partition testTopic9-1:
org.apache.kafka.common.errors.TimeoutException: Batch containing 1 record(s) expired due to timeout while requesting metadata from brokers for testTopic9-0
16/06/17 17:43:33 ERROR internals.RecordBatch: Error executing user-provided callback on message for topic-partition testTopic9-0:
部分代码如下
kafkaProducer.send(record,new Callback() { 
                        public void onCompletion(RecordMetadata metadata, Exception e) { 
                           
                            if(null != e) { 
                                System.out.println("metadata信息 >>>>  " + metadata);
                                e.printStackTrace();
                               System.out.println("发生异常: the offset of the send record is {}" +  metadata.offset()); 
                               //记录异常日志
                            
                            } 
                            System.out.println("生产了数据:" +  metadata.offset());
                        } 
                    });

1年前