OrcHome OrcHome
OrcHome个人中心.
我是谁 修改资料 更换头像
关注(0) 粉丝(0) 积分(0)
关注

暂无关注.....

粉丝

暂无粉丝.....


半兽人 回复 我是谁 中:
恭喜!
4天前
我是谁 回复 半兽人 中:
目前已经可以了,谢谢啦
4天前
我是谁 回复 半兽人 中:
zookeeper版本是3.4.5-cdh5.5.1,目前这个错误不再报了,主要是对照你的实战笔记做了下修改。但是在启动producer后尝试发送消息时会报错如下,而且consumer那端也接收不到消息。

[root@ws-node01 kafka]# ./producer.sh 
aaa
[2017-01-17 14:56:17,058] ERROR Error when sending message to topic xdfjc1 with key: null, value: 3 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for xdfjc1-0 due to 1509 ms has passed since batch creation plus linger time



其中producer.sh脚本内容如下:

#!/bin/sh
export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/opt/kafka/kafka/config/kafka_client_jaas.conf"
kafka-console-producer.sh --broker-list ws-node01:9092,ws-node02:9092,ws-node03:9092 --topic xdfjc1 --producer.config ./config/producer.properties




4天前
发表了 kafka安装kerberos后启动consumer报错 WARN Error while fetching metadata with correlation id 3 : {xdfjc1=LEADER_NOT_AVAILABLE}

5天前
我是谁 回复 漂泊的美好 用kafka命令发送消息时候,一直报WARN Error while fetching metadata with correlation id 0 : {test=UNKNOWN_TOPIC_OR_PARTITION}? 中:
你好,没有leader是什么意思?要怎么让topic产生一个leader呢?
10天前
半兽人 回复 我是谁 kafka实战kerberos(笔记) 中:
自定义脚本。
10天前
我是谁 kafka实战kerberos(笔记) 发表评论:
你好,export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.confi
g=/etc/kafka/kafka_client_jaas.conf"这个配置是要添加在kafka-console-producer.sh和kafka-console-consumer.sh这两个脚本里面是吧?
11天前
我是谁 回复 半兽人 kafka适配kerberos后启动失败 中:
恩恩,非常感谢,这个问题刚刚解决了
11天前
半兽人 回复 我是谁 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 中:
把所有数据清空了,重新来吧。
11天前
半兽人 回复 我是谁 kafka适配kerberos后启动失败 中:
这是我做kerber时候的步骤笔记,你比一下吧。
http://orchome.com/500


11天前
我是谁 kafka适配kerberos后启动失败 发表评论:
hosts文件是:
192.168.20.96 ws-node04.shunyi06.test ws-node04
192.168.20.97 ws-node03.shunyi06.test ws-node03
192.168.20.98 ws-node02.shunyi06.test ws-node02
192.168.20.99 ws-node01.shunyi06.test ws-node01

11天前
我是谁 回复 半兽人 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 中:
根据你说的,1、2、3都已经试过了,但还是会报错。不过很奇怪的是,报错是偶尔的,我一共创建了五次topic,都是三分本*5分区,出现报错共2两次,有三次未发生报错。。。
11天前
发表了 kafka适配kerberos后启动失败

11天前
我是谁 回复 我是谁 关于kafka kerberos 配置的若干问题,求大神解惑 中:
找到了。。
11天前
我是谁 回复 Marseille broker-server.log不停报错 中:
请问,你的这个broker和分区关系错乱是怎么查出来的?
12天前
半兽人 回复 我是谁 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 中:
简单的排查了解一下
1、你搭建的集群是否能正常的生产和消费消息(最好是外部应用调集群)。
2、hosts配置(配置了计算机名)
3、集群在搭建的过程中,config/server.properties中broker.id=0。这个broker.id是否在启动之后发现没修改,改了之后又启动了并未清空数据。

如果以上3步都是正常的,我建议你删除掉zookeeper/kafka中的缓存,重新启动kafka。

12天前
半兽人 回复 我是谁 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 中:
# 我尝试着创建副本大于broker数,则根本无法创建成功。
 bin/kafka-topics.sh --create --zookeeper 192.168.190.11:2282/kafka_logs --replication-factor 4 --partitions 4 --topic test2

Error while executing topic command : replication factor: 4 larger than available brokers: 3
[2017-01-09 16:41:43,660] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: replication factor: 4 larger than available brokers: 3
 (kafka.admin.TopicCommand$)

我的版本:kafka_2.11-0.10.1.0

12天前
我是谁 回复 半兽人 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 中:
请问要如何查看是否冲突?
这是报错情况:

[2017-01-09 15:48:51,152] ERROR [ReplicaFetcherThread-0-2], Error for partition [xdfjc1,4] to broker 2:org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. (kafka.server.ReplicaFetcherThread)
[2017-01-09 15:48:51,152] ERROR [ReplicaFetcherThread-0-2], Error for partition [xdfjc1,1] to broker 2:org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. (kafka.server.ReplicaFetcherThread)
[2017-01-09 15:48:51,154] ERROR [ReplicaFetcherThread-0-1], Error for partition [xdfjc1,3] to broker 1:org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. (kafka.server.ReplicaFetcherThread)
[2017-01-09 15:48:51,154] ERROR [ReplicaFetcherThread-0-1], Error for partition [xdfjc1,0] to broker 1:org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. (kafka.server.ReplicaFetcherThread)

这是topic具体信息:

[root@ws-node01 config]# kafka-topics.sh --describe --zookeeper ws-node01:2181,ws-node02:2181,ws-node03:2181/kafka --topic xdfjc1

Topic:xdfjc1 PartitionCount:5 ReplicationFactor:3 Configs:
Topic: xdfjc1 Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0
Topic: xdfjc1 Partition: 1 Leader: 2 Replicas: 2,0,1 Isr: 2,0,1
Topic: xdfjc1 Partition: 2 Leader: 0 Replicas: 0,1,2 Isr: 0,1,2
Topic: xdfjc1 Partition: 3 Leader: 1 Replicas: 1,0,2 Isr: 1,0,2
Topic: xdfjc1 Partition: 4 Leader: 2 Replicas: 2,1,0 Isr: 2,1,0

12天前
半兽人 回复 我是谁 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 中:
4分区*3副本还错,这就不正常了,之前broker id是否配置冲突过?
12天前
我是谁 关于kafka kerberos 配置的若干问题,求大神解惑 发表评论:
楼主你好,kafka-run-class.sh配置文件是跑程序时自己写的脚本吗?我怎么没有找到。。
12天前
我是谁 回复 半兽人 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 中:
谢谢你的回答。不过当4个分区*3个副本时也是报错的
12天前
发表了 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition.

15天前

半兽人 回复 我是谁 评论:
恭喜!
4天前
我是谁 回复 半兽人 评论:
目前已经可以了,谢谢啦
4天前
我是谁 回复 半兽人 评论:
zookeeper版本是3.4.5-cdh5.5.1,目前这个错误不再报了,主要是对照你的实战笔记做了下修改。但是在启动producer后尝试发送消息时会报错如下,而且consumer那端也接收不到消息。

[root@ws-node01 kafka]# ./producer.sh 
aaa
[2017-01-17 14:56:17,058] ERROR Error when sending message to topic xdfjc1 with key: null, value: 3 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for xdfjc1-0 due to 1509 ms has passed since batch creation plus linger time



其中producer.sh脚本内容如下:

#!/bin/sh
export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/opt/kafka/kafka/config/kafka_client_jaas.conf"
kafka-console-producer.sh --broker-list ws-node01:9092,ws-node02:9092,ws-node03:9092 --topic xdfjc1 --producer.config ./config/producer.properties




4天前
我是谁 回复 漂泊的美好 用kafka命令发送消息时候,一直报WARN Error while fetching metadata with correlation id 0 : {test=UNKNOWN_TOPIC_OR_PARTITION}? 评论:
你好,没有leader是什么意思?要怎么让topic产生一个leader呢?
10天前
半兽人 回复 我是谁 kafka实战kerberos(笔记) 评论:
自定义脚本。
10天前
我是谁 kafka实战kerberos(笔记) 发表评论:
你好,export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.confi
g=/etc/kafka/kafka_client_jaas.conf"这个配置是要添加在kafka-console-producer.sh和kafka-console-consumer.sh这两个脚本里面是吧?
11天前
我是谁 回复 半兽人 kafka适配kerberos后启动失败 评论:
恩恩,非常感谢,这个问题刚刚解决了
11天前
半兽人 回复 我是谁 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 评论:
把所有数据清空了,重新来吧。
11天前
半兽人 回复 我是谁 kafka适配kerberos后启动失败 评论:
这是我做kerber时候的步骤笔记,你比一下吧。
http://orchome.com/500


11天前
我是谁 kafka适配kerberos后启动失败 发表评论:
hosts文件是:
192.168.20.96 ws-node04.shunyi06.test ws-node04
192.168.20.97 ws-node03.shunyi06.test ws-node03
192.168.20.98 ws-node02.shunyi06.test ws-node02
192.168.20.99 ws-node01.shunyi06.test ws-node01

11天前
我是谁 回复 半兽人 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 评论:
根据你说的,1、2、3都已经试过了,但还是会报错。不过很奇怪的是,报错是偶尔的,我一共创建了五次topic,都是三分本*5分区,出现报错共2两次,有三次未发生报错。。。
11天前
我是谁 回复 我是谁 关于kafka kerberos 配置的若干问题,求大神解惑 评论:
找到了。。
11天前
我是谁 回复 Marseille broker-server.log不停报错 评论:
请问,你的这个broker和分区关系错乱是怎么查出来的?
12天前
半兽人 回复 我是谁 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 评论:
简单的排查了解一下
1、你搭建的集群是否能正常的生产和消费消息(最好是外部应用调集群)。
2、hosts配置(配置了计算机名)
3、集群在搭建的过程中,config/server.properties中broker.id=0。这个broker.id是否在启动之后发现没修改,改了之后又启动了并未清空数据。

如果以上3步都是正常的,我建议你删除掉zookeeper/kafka中的缓存,重新启动kafka。

12天前
半兽人 回复 我是谁 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 评论:
# 我尝试着创建副本大于broker数,则根本无法创建成功。
 bin/kafka-topics.sh --create --zookeeper 192.168.190.11:2282/kafka_logs --replication-factor 4 --partitions 4 --topic test2

Error while executing topic command : replication factor: 4 larger than available brokers: 3
[2017-01-09 16:41:43,660] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: replication factor: 4 larger than available brokers: 3
 (kafka.admin.TopicCommand$)

我的版本:kafka_2.11-0.10.1.0

12天前
我是谁 回复 半兽人 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 评论:
请问要如何查看是否冲突?
这是报错情况:

[2017-01-09 15:48:51,152] ERROR [ReplicaFetcherThread-0-2], Error for partition [xdfjc1,4] to broker 2:org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. (kafka.server.ReplicaFetcherThread)
[2017-01-09 15:48:51,152] ERROR [ReplicaFetcherThread-0-2], Error for partition [xdfjc1,1] to broker 2:org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. (kafka.server.ReplicaFetcherThread)
[2017-01-09 15:48:51,154] ERROR [ReplicaFetcherThread-0-1], Error for partition [xdfjc1,3] to broker 1:org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. (kafka.server.ReplicaFetcherThread)
[2017-01-09 15:48:51,154] ERROR [ReplicaFetcherThread-0-1], Error for partition [xdfjc1,0] to broker 1:org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. (kafka.server.ReplicaFetcherThread)

这是topic具体信息:

[root@ws-node01 config]# kafka-topics.sh --describe --zookeeper ws-node01:2181,ws-node02:2181,ws-node03:2181/kafka --topic xdfjc1

Topic:xdfjc1 PartitionCount:5 ReplicationFactor:3 Configs:
Topic: xdfjc1 Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0
Topic: xdfjc1 Partition: 1 Leader: 2 Replicas: 2,0,1 Isr: 2,0,1
Topic: xdfjc1 Partition: 2 Leader: 0 Replicas: 0,1,2 Isr: 0,1,2
Topic: xdfjc1 Partition: 3 Leader: 1 Replicas: 1,0,2 Isr: 1,0,2
Topic: xdfjc1 Partition: 4 Leader: 2 Replicas: 2,1,0 Isr: 2,1,0

12天前
半兽人 回复 我是谁 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 评论:
4分区*3副本还错,这就不正常了,之前broker id是否配置冲突过?
12天前
我是谁 关于kafka kerberos 配置的若干问题,求大神解惑 发表评论:
楼主你好,kafka-run-class.sh配置文件是跑程序时自己写的脚本吗?我怎么没有找到。。
12天前
我是谁 回复 半兽人 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 评论:
谢谢你的回答。不过当4个分区*3个副本时也是报错的
12天前