OrcHome OrcHome
OrcHome个人中心.

漂泊的美好

已关注 关注

关注

暂无关注.....

粉丝

暂无粉丝.....


发表了 kafka分区isr缺失,follower副本不拉取leader 副本的数据。
2天前
漂泊的美好 kafka中有必要同时使用kerberos和SSL吗? 发表评论:
看需求
2天前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 中:
我刚才又试了下,把super.users改回kafka/bd005之后,貌似不行。具体情况是这样的:
我的命令脚本也就是producer/consumer里写的是clients@EX.COM。设置super.users=User:kafka/bd005;User:clients也不行。而且还发现一个现象,设置super.users=User:kafka后。客户端只要是kafka/XXXX@EX.COM这种形式的用户名,都可以无限制连接…………越来越搞不懂这个super.users该怎么设置……

这是kerberos里的用户:
   K/M@EX.COM
admin/admin@EX.COM
clients@EX.COM
host/10.1.2.46@EX.COM
host/bd005@EX.COM
kadmin/admin@EX.COM
kadmin/bd005@EX.COM
kadmin/changepw@EX.COM
kafka/10.1.2.46@EX.COM
kafka/127.0.0.1@EX.COM
kafka/bd005@EX.COM
krbtgt/EX.COM@EX.COM
test/10.1.2.46@EX.COM
test/bd005@EX.COM
zookeeper/10.1.2.46@EX.COM
zookeeper/127.0.0.1@EX.COM
具体的配置在 http://orchome.com/877 这个问题里列出了一部分。目前这块的有些东西理不清,还望您指点指点,麻烦您了,非常感谢!
2月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 中:
您的意思是我之前的super.users=User:kafka/bd005这个不用改?在后面再加一个User:kafka?是这个意思么?
您写的也是super.users=User:kafka,您的这个“User:kafka”是指kafka@HADOOP.COM这个用户么?大概能理解您的意思了。
2月前
漂泊的美好 回复 落樱留独殇 kafka ACL权限控制相关问题 中:
你看我的参数,应该设置成super.users=User:kafka/bd005;如果想再次添加超级管理员super.users=User:kafka/bd005;User:admin;kafka权限的用户应该是对应的系统用户,kerberos用户kafka/bd005@EX.COM可以被按照某种规则解析成kafka/bd005被kafka权限所匹配。我这么解释你大概懂了吧。
2月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 中:
super.users,之前设置的是super.users=kafka/bd005。kafka/bd005是kafka_server_jaas.conf文件中的kafka/bd005@EX.COM。这个super.users的设置和kerberos KDC里的用户有关系吗?
2月前
漂泊的美好 回复 落樱留独殇 kafka ACL权限控制相关问题 中:
我不明白kafka/bd005设置的是什么参数的值?
2月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 中:
非常感谢!!我测试的是单机的,kerberos也启用了,就是在ACL这遇到了问题,找了一天没找到问题所在,您一句话就给解决了,我之前设置的kafka/bd005,改成 kafka 确实没问题了。能简单讲一下这其中的原因吗?谢谢!
2月前
漂泊的美好 回复 落樱留独殇 kafka ACL权限控制相关问题 中:
首先要确保你的kafka集群已正确启用kerberos认证,只有认证用户才可以list生产消费,再来配权限。权限只有两个配置,分别是,authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer和super.users=User:kafka;
2月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 中:
你好,我现在遇到和你这个一样的问题,请问你是怎么解决的?望指点,谢谢!
2月前
漂泊的美好 java客户端kakfa(2.11-0.10.2.1)无法获取服务端kafka(2.10-0.8.2.1)的KafkaConsuemer 发表评论:
客户端版本不能高于服务端。一般是向下兼容。
3月前
漂泊的美好 error in fetch kafka.server.Replicafetcherthread 发表评论:
1、之前线上也出现过这个错误,我们的现象是,出现该错误的broker都无法连接到其中一个broker,并且该broker的连接数会急剧增加,直至突破限制,停止,并且在此期间无法接收数据。原因是kafka0.10.0有bug,broker出现死锁。https://issues.apache.org/jira/browse/KAFKA-4399   kafka0.10.1.1已修复该问题。你可以在错误出现的时候检查线程情况。
2、也有可能是磁盘延迟,或者是网络不稳定导致。

3月前
在名 回复 漂泊的美好 kafka根据时间戳消费或者消费指定时间内的数据 中:
谢老哥提示。
好人一生平安
3月前
漂泊的美好 如何使已不同步的节点重新同步时入ISR? 发表评论:
这时同步不行啊,加大同步参数。
3月前
漂泊的美好 kafka根据时间戳消费或者消费指定时间内的数据 发表评论:
使用KafkaConsumer.offsetsForTimes要确认集群已开启log.message.timestamp.type参数,并且clien要使用0.10.*的客户端发送数据,数据格式和0.9不同了。
3月前
发表了 kafka无法启动
4月前
邱响 回复 漂泊的美好 用kafka命令发送消息时候,一直报WARN Error while fetching metadata with correlation id 0 : {test=UNKNOWN_TOPIC_OR_PARTITION}? 中:
我的也是没有leader,这种情况是怎么解决的??
./bin/kafka-topics.sh --zookeeper zk1.node:12181,zk2.node:12181,zk3.node:12181  --describe --topic test05
Topic:test05 PartitionCount:3 ReplicationFactor:3 Configs:
Topic: test05 Partition: 0 Leader: none Replicas: 2,1,0 Isr:
Topic: test05 Partition: 1 Leader: none Replicas: 0,2,1 Isr:
Topic: test05 Partition: 2 Leader: none Replicas: 1,0,2 Isr:

5月前
半兽人 回复 漂泊的美好 kafka无法查看消费组使用情况,显示unknown 中:
消息有被消费吗?一般这种情况是没有消费的时候才会这样。
5月前
漂泊的美好 回复 半兽人 kafka无法查看消费组使用情况,显示unknown 中:
这个是将消费情况存储在zk中才使用的命令吧,我们现在是存储在kafka中,而且kafka集群已启用kerberos认证。
5月前
发表了 kafka无法查看消费组使用情况,显示unknown
5月前
漂泊的美好 回复 半兽人 kafka的consumer.offsetsForTimes根据timestamp查找offset返回结果为空 中:
我现在的问题是,在配置log.message.timestamp.type=LogAppendTime参数后,集群启用了timestamp索引。kafka数据目录会多出了一个 SegmentBaseOffset.timeindex的时间索引文件,但是我加数据后,只有log文件和offset.index文件会有变化(大小在增加),而SegmentBaseOffset.timeindex这个文件的大小始终为0,所以我怀疑consumer.offsetsForTimes返回为空,跟这个有关系。我在这个社区中(https://cwiki.apache.org/confluence/display/KAFKA/KIP-33+-+Add+a+time+based+log+index)查到了这么一句话,“For message format v0, the timestamp is always -1, so no time index entry will be inserted when message is appended.”提到了message format v0可能会导致时间索引文件没有任何东西插入。不知道你有何高见?
6月前
发表了 kafka的consumer.offsetsForTimes根据timestamp查找offset返回结果为空
6月前
漂泊的美好 回复 鹰击长空 发行说明 - Kafka - 0.10.0.1版本 中:
您这个时间戳索引功能怎么用?可以根据时间戳消费吗?
7月前
半兽人 回复 漂泊的美好 关于kafka几种threads的疑问 中:
不会的,你看linux那专栏,我常用的服务器检测。vmstat等,看看你系统的资源调度如何。
7月前
发表了 关于kafka几种threads的疑问
7月前
发表了 kafka 副本fetch数据异常
7月前
发表了 kafka mirrormaker能否支持从指定时间戳同步数据
7月前
发表了 kafka分区follower保存highWatermarkMetadata的意义是什么?
8月前
发表了 kafka一个broker报too many open files,导致flume无法发送数据
8月前
发表了 kafka启用权限后,kafka-consumer-group.sh查看消费组报错
9月前
发表了 启用kerberos下sparkstreaming读取kafka数据问题
1年前
发表了 关于kafka0.10中consumerGroup中的一些疑惑
1年前
发表了 使用camus将kafka中的数据入hive时,总有几个task失败,导致一些表入不了hive
1年前
发表了 kafka可以跨级群消费吗?
1年前
发表了 kafka-acl java api 使用碰到的问题
1年前
发表了 启用kerberos后,producer,consumer 的java API
1年前
发表了 kafka ACL权限控制相关问题
1年前
发表了 kafka启用kerberos后,新producer和consumer产生的问题,请前辈给指导下
1年前
发表了 kafka 启动kerberos后消费者报错
1年前
发表了 关于kafka kerberos 配置的若干问题,求大神解惑
1年前

漂泊的美好 kafka中有必要同时使用kerberos和SSL吗? 发表评论:
看需求
2天前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 评论:
我刚才又试了下,把super.users改回kafka/bd005之后,貌似不行。具体情况是这样的:
我的命令脚本也就是producer/consumer里写的是clients@EX.COM。设置super.users=User:kafka/bd005;User:clients也不行。而且还发现一个现象,设置super.users=User:kafka后。客户端只要是kafka/XXXX@EX.COM这种形式的用户名,都可以无限制连接…………越来越搞不懂这个super.users该怎么设置……

这是kerberos里的用户:
   K/M@EX.COM
admin/admin@EX.COM
clients@EX.COM
host/10.1.2.46@EX.COM
host/bd005@EX.COM
kadmin/admin@EX.COM
kadmin/bd005@EX.COM
kadmin/changepw@EX.COM
kafka/10.1.2.46@EX.COM
kafka/127.0.0.1@EX.COM
kafka/bd005@EX.COM
krbtgt/EX.COM@EX.COM
test/10.1.2.46@EX.COM
test/bd005@EX.COM
zookeeper/10.1.2.46@EX.COM
zookeeper/127.0.0.1@EX.COM
具体的配置在 http://orchome.com/877 这个问题里列出了一部分。目前这块的有些东西理不清,还望您指点指点,麻烦您了,非常感谢!
2月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 评论:
您的意思是我之前的super.users=User:kafka/bd005这个不用改?在后面再加一个User:kafka?是这个意思么?
您写的也是super.users=User:kafka,您的这个“User:kafka”是指kafka@HADOOP.COM这个用户么?大概能理解您的意思了。
2月前
漂泊的美好 回复 落樱留独殇 kafka ACL权限控制相关问题 评论:
你看我的参数,应该设置成super.users=User:kafka/bd005;如果想再次添加超级管理员super.users=User:kafka/bd005;User:admin;kafka权限的用户应该是对应的系统用户,kerberos用户kafka/bd005@EX.COM可以被按照某种规则解析成kafka/bd005被kafka权限所匹配。我这么解释你大概懂了吧。
2月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 评论:
super.users,之前设置的是super.users=kafka/bd005。kafka/bd005是kafka_server_jaas.conf文件中的kafka/bd005@EX.COM。这个super.users的设置和kerberos KDC里的用户有关系吗?
2月前
漂泊的美好 回复 落樱留独殇 kafka ACL权限控制相关问题 评论:
我不明白kafka/bd005设置的是什么参数的值?
2月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 评论:
非常感谢!!我测试的是单机的,kerberos也启用了,就是在ACL这遇到了问题,找了一天没找到问题所在,您一句话就给解决了,我之前设置的kafka/bd005,改成 kafka 确实没问题了。能简单讲一下这其中的原因吗?谢谢!
2月前
漂泊的美好 回复 落樱留独殇 kafka ACL权限控制相关问题 评论:
首先要确保你的kafka集群已正确启用kerberos认证,只有认证用户才可以list生产消费,再来配权限。权限只有两个配置,分别是,authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer和super.users=User:kafka;
2月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 评论:
你好,我现在遇到和你这个一样的问题,请问你是怎么解决的?望指点,谢谢!
2月前
漂泊的美好 java客户端kakfa(2.11-0.10.2.1)无法获取服务端kafka(2.10-0.8.2.1)的KafkaConsuemer 发表评论:
客户端版本不能高于服务端。一般是向下兼容。
3月前
漂泊的美好 error in fetch kafka.server.Replicafetcherthread 发表评论:
1、之前线上也出现过这个错误,我们的现象是,出现该错误的broker都无法连接到其中一个broker,并且该broker的连接数会急剧增加,直至突破限制,停止,并且在此期间无法接收数据。原因是kafka0.10.0有bug,broker出现死锁。https://issues.apache.org/jira/browse/KAFKA-4399   kafka0.10.1.1已修复该问题。你可以在错误出现的时候检查线程情况。
2、也有可能是磁盘延迟,或者是网络不稳定导致。

3月前
在名 回复 漂泊的美好 kafka根据时间戳消费或者消费指定时间内的数据 评论:
谢老哥提示。
好人一生平安
3月前
漂泊的美好 如何使已不同步的节点重新同步时入ISR? 发表评论:
这时同步不行啊,加大同步参数。
3月前
漂泊的美好 kafka根据时间戳消费或者消费指定时间内的数据 发表评论:
使用KafkaConsumer.offsetsForTimes要确认集群已开启log.message.timestamp.type参数,并且clien要使用0.10.*的客户端发送数据,数据格式和0.9不同了。
3月前
邱响 回复 漂泊的美好 用kafka命令发送消息时候,一直报WARN Error while fetching metadata with correlation id 0 : {test=UNKNOWN_TOPIC_OR_PARTITION}? 评论:
我的也是没有leader,这种情况是怎么解决的??
./bin/kafka-topics.sh --zookeeper zk1.node:12181,zk2.node:12181,zk3.node:12181  --describe --topic test05
Topic:test05 PartitionCount:3 ReplicationFactor:3 Configs:
Topic: test05 Partition: 0 Leader: none Replicas: 2,1,0 Isr:
Topic: test05 Partition: 1 Leader: none Replicas: 0,2,1 Isr:
Topic: test05 Partition: 2 Leader: none Replicas: 1,0,2 Isr:

5月前
半兽人 回复 漂泊的美好 kafka无法查看消费组使用情况,显示unknown 评论:
消息有被消费吗?一般这种情况是没有消费的时候才会这样。
5月前
漂泊的美好 回复 半兽人 kafka无法查看消费组使用情况,显示unknown 评论:
这个是将消费情况存储在zk中才使用的命令吧,我们现在是存储在kafka中,而且kafka集群已启用kerberos认证。
5月前
漂泊的美好 回复 半兽人 kafka的consumer.offsetsForTimes根据timestamp查找offset返回结果为空 评论:
我现在的问题是,在配置log.message.timestamp.type=LogAppendTime参数后,集群启用了timestamp索引。kafka数据目录会多出了一个 SegmentBaseOffset.timeindex的时间索引文件,但是我加数据后,只有log文件和offset.index文件会有变化(大小在增加),而SegmentBaseOffset.timeindex这个文件的大小始终为0,所以我怀疑consumer.offsetsForTimes返回为空,跟这个有关系。我在这个社区中(https://cwiki.apache.org/confluence/display/KAFKA/KIP-33+-+Add+a+time+based+log+index)查到了这么一句话,“For message format v0, the timestamp is always -1, so no time index entry will be inserted when message is appended.”提到了message format v0可能会导致时间索引文件没有任何东西插入。不知道你有何高见?
6月前
漂泊的美好 回复 鹰击长空 发行说明 - Kafka - 0.10.0.1版本 评论:
您这个时间戳索引功能怎么用?可以根据时间戳消费吗?
7月前
半兽人 回复 漂泊的美好 关于kafka几种threads的疑问 评论:
不会的,你看linux那专栏,我常用的服务器检测。vmstat等,看看你系统的资源调度如何。
7月前

漂泊的美好 发表了 kafka分区isr缺失,follower副本不拉取leader 副本的数据。
2天前
漂泊的美好 发表了 kafka无法启动
4月前
漂泊的美好 发表了 kafka无法查看消费组使用情况,显示unknown
5月前
漂泊的美好 发表了 kafka的consumer.offsetsForTimes根据timestamp查找offset返回结果为空
6月前
漂泊的美好 发表了 关于kafka几种threads的疑问
7月前
漂泊的美好 发表了 kafka 副本fetch数据异常
7月前
漂泊的美好 发表了 kafka mirrormaker能否支持从指定时间戳同步数据
7月前
漂泊的美好 发表了 kafka分区follower保存highWatermarkMetadata的意义是什么?
8月前
漂泊的美好 发表了 kafka一个broker报too many open files,导致flume无法发送数据
8月前
漂泊的美好 发表了 kafka启用权限后,kafka-consumer-group.sh查看消费组报错
9月前
漂泊的美好 发表了 启用kerberos下sparkstreaming读取kafka数据问题
1年前
漂泊的美好 发表了 关于kafka0.10中consumerGroup中的一些疑惑
1年前
漂泊的美好 发表了 使用camus将kafka中的数据入hive时,总有几个task失败,导致一些表入不了hive
1年前
漂泊的美好 发表了 kafka可以跨级群消费吗?
1年前
漂泊的美好 发表了 kafka-acl java api 使用碰到的问题
1年前
漂泊的美好 发表了 启用kerberos后,producer,consumer 的java API
1年前
漂泊的美好 发表了 kafka ACL权限控制相关问题
1年前
漂泊的美好 发表了 kafka启用kerberos后,新producer和consumer产生的问题,请前辈给指导下
1年前
漂泊的美好 发表了 kafka 启动kerberos后消费者报错
1年前
漂泊的美好 发表了 关于kafka kerberos 配置的若干问题,求大神解惑
1年前