OrcHome OrcHome
OrcHome个人中心.

落樱留独殇

已关注 关注

关注

暂无关注.....

粉丝

暂无粉丝.....


半兽人 回复 落樱留独殇 关于 kafka 集群设计方案的问题 中:
稳住,默认配置就够使,4台ssd集群机器,10亿不多。你按1秒钟1万条算。
2月前
落樱留独殇 回复 半兽人 关于 kafka 集群设计方案的问题 中:
嗯嗯,我的意思也是这,就是topic的数据保留7天,其他服务日志信息按级别来保留,INFO级别的保留一个月,ERROR级别的错误信息永久保留,这个我查了一下,可以设置l0g4j来实现。我现在比较无措的就是在这样的需求下,如果日业务量在1亿~10亿,kafka集群怎么配置……
2月前
半兽人 回复 落樱留独殇 关于 kafka 集群设计方案的问题 中:
是保留,默认7天,一般重要的信息保留30天。它适合做中转,不适合永久存储。
2月前
落樱留独殇 回复 半兽人 关于 kafka 集群设计方案的问题 中:
但是kafka不也可以存储日志么?
2月前
发表了 关于 kafka 集群设计方案的问题
2月前
小八路 回复 落樱留独殇 KafkaStreams客户端(0.10.1.1 API) 中:
我在例子中这样将结果输出到两个topic的
  wordCounts.toStream().to("streams-plaintext-output", Produced.with(Serdes.String(), Serdes.Long()));
  wordCounts.toStream().to("my-replicated-topic", Produced.with(Serdes.String(), Serdes.Long()));

2月前
落樱留独殇 回复 Kafka Kerberos 启动报错 中:
上面这个错不是因为ACL类名写错导致的,是我在替换JCE文件后,启动kafka出现的,但是我在重启了zookeeper(kafka自带的)之后,这个问题就没有了。ACL类名写错导致的是 kafka ACL 没生效。这个是kerberos认证的问题。
3月前
落樱留独殇 回复 半兽人 Kafka Kerberos 启动报错 中:
问题解决了,anuthorizer.class.name = kafka.security.auth.SimpleAclAuthorizer的单词authorizer拼错了……太粗心了……
super.users又改成kafka了,然后发现kafka/XXXX@EX.COM的用户都可以无限制连接,是不是因为super.users是kafka?
krb5.conf 的配置是这样的:

[domain_realm]
kafka = EX.COM
host = EX.COM
zookeeper = EX.COM
127.0.0.1 = EX.COM
10.1.2.46 = EX.COM
bd005 = EX.COM

不知道我理解的对不对,是不是因为kerberos域里设置了kafka=EX.COM,所以kafka/XXXX@EX.COM形式的用户都被解析成或者被认为是super.users用户?


3月前
半兽人 回复 落樱留独殇 Kafka Kerberos 启动报错 中:
用户命名成这样,我没试过,语法不知道能不能认。
3月前
落樱留独殇 回复 半兽人 Kafka Kerberos 启动报错 中:
现在可以起来了,但是ACL没起作用,只要通过kerberos认证的用户都可以生产和消费。贴一下配置:
# server.properties
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=GSSAPI
sasl.enabled.mechanisms=GSSAPI
sasl.kerberos.service.name=kafka

anuthorizer.class.name = kafka.security.auth.SimpleAclAuthorizer

super.users=User:kafka/bd-07
allow.everyone.if.no.acl.found=false

super.users之前写的是kafka,改成kafka/bd-07(kafka_server_jaas.conf 的 principal)好像也没什么影响。之前在测试环境做的时候也出现过这个,http://www.orchome.com/378 当时在评论下面,向这个大神请教了这个问题,但是没有得到回复。现在部署到生产上就是按之前的步骤来的,又遇到这个问题了……还望指点。

3月前
发表了 Kafka Kerberos 启动报错
3月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 中:
我刚才又试了下,把super.users改回kafka/bd005之后,貌似不行。具体情况是这样的:
我的命令脚本也就是producer/consumer里写的是clients@EX.COM。设置super.users=User:kafka/bd005;User:clients也不行。而且还发现一个现象,设置super.users=User:kafka后。客户端只要是kafka/XXXX@EX.COM这种形式的用户名,都可以无限制连接…………越来越搞不懂这个super.users该怎么设置……

这是kerberos里的用户:
   K/M@EX.COM
admin/admin@EX.COM
clients@EX.COM
host/10.1.2.46@EX.COM
host/bd005@EX.COM
kadmin/admin@EX.COM
kadmin/bd005@EX.COM
kadmin/changepw@EX.COM
kafka/10.1.2.46@EX.COM
kafka/127.0.0.1@EX.COM
kafka/bd005@EX.COM
krbtgt/EX.COM@EX.COM
test/10.1.2.46@EX.COM
test/bd005@EX.COM
zookeeper/10.1.2.46@EX.COM
zookeeper/127.0.0.1@EX.COM
具体的配置在 http://orchome.com/877 这个问题里列出了一部分。目前这块的有些东西理不清,还望您指点指点,麻烦您了,非常感谢!
3月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 中:
您的意思是我之前的super.users=User:kafka/bd005这个不用改?在后面再加一个User:kafka?是这个意思么?
您写的也是super.users=User:kafka,您的这个“User:kafka”是指kafka@HADOOP.COM这个用户么?大概能理解您的意思了。
3月前
漂泊的美好 回复 落樱留独殇 kafka ACL权限控制相关问题 中:
你看我的参数,应该设置成super.users=User:kafka/bd005;如果想再次添加超级管理员super.users=User:kafka/bd005;User:admin;kafka权限的用户应该是对应的系统用户,kerberos用户kafka/bd005@EX.COM可以被按照某种规则解析成kafka/bd005被kafka权限所匹配。我这么解释你大概懂了吧。
3月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 中:
super.users,之前设置的是super.users=kafka/bd005。kafka/bd005是kafka_server_jaas.conf文件中的kafka/bd005@EX.COM。这个super.users的设置和kerberos KDC里的用户有关系吗?
3月前
漂泊的美好 回复 落樱留独殇 kafka ACL权限控制相关问题 中:
我不明白kafka/bd005设置的是什么参数的值?
3月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 中:
非常感谢!!我测试的是单机的,kerberos也启用了,就是在ACL这遇到了问题,找了一天没找到问题所在,您一句话就给解决了,我之前设置的kafka/bd005,改成 kafka 确实没问题了。能简单讲一下这其中的原因吗?谢谢!
3月前
漂泊的美好 回复 落樱留独殇 kafka ACL权限控制相关问题 中:
首先要确保你的kafka集群已正确启用kerberos认证,只有认证用户才可以list生产消费,再来配权限。权限只有两个配置,分别是,authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer和super.users=User:kafka;
3月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 中:
你好,我现在遇到和你这个一样的问题,请问你是怎么解决的?望指点,谢谢!
3月前
落樱留独殇 回复 無名 求救:java 连接 kafka kerberos 问题 中:
kerberos用户认证通了,但是ACL有问题,给topic分配权限后,使用命令测试就出现上面的错,客户端也是,可以连上kafka但是发送/消费不了。http://orchome.com/500 我是按照这个教程做的, 也看了 http://www.orchome.com/378 这个问题,但是没理解……
3月前
無名 回复 落樱留独殇 求救:java 连接 kafka kerberos 问题 中:
认证失败?这块你不是已经测通过了吗
3月前
落樱留独殇 回复 無名 求救:java 连接 kafka kerberos 问题 中:
我在server.properties中添加了

authorizer.class.name = kafka.security.auth.SimpleAclAuthorizer
super.users=User:kafka/bd005@EX.COM

然后给 pruducer 和 consumer 分配权限,这是分配后的信息

Current ACLs for resource `Topic:wwxx1`: 
  User:clients has Allow permission for operations: Read from hosts: 10.1.2.46
 User:clients@EX.COM has Allow permission for operations: Write from hosts: 10.1.2.46
 User:clients@EX.COM has Allow permission for operations: Read from hosts: 10.1.2.46
 User:clients has Allow permission for operations: Write from hosts: 10.1.2.46 

Current ACLs for resource `Group:news-consumer-group`: 
  User:clients has Allow permission for operations: Read from hosts: 10.1.2.46
 User:clients@EX.COM has Allow permission for operations: Read from hosts: 10.1.2.46 

通过命令生产和消费,分别出现了:
生产:WARN Bootstrap broker 10.1.2.46:9988 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
消费:WARN Error while fetching metadata with correlation id 3 : {wwxx1=TOPIC_AUTHORIZATION_FAILED} (org.apache.kafka.clients.NetworkClient)
能看出来是哪个地方出现了问题吗?
3月前
发表了 求救:java 连接 kafka kerberos 问题
3月前

半兽人 回复 落樱留独殇 关于 kafka 集群设计方案的问题 评论:
稳住,默认配置就够使,4台ssd集群机器,10亿不多。你按1秒钟1万条算。
2月前
落樱留独殇 回复 半兽人 关于 kafka 集群设计方案的问题 评论:
嗯嗯,我的意思也是这,就是topic的数据保留7天,其他服务日志信息按级别来保留,INFO级别的保留一个月,ERROR级别的错误信息永久保留,这个我查了一下,可以设置l0g4j来实现。我现在比较无措的就是在这样的需求下,如果日业务量在1亿~10亿,kafka集群怎么配置……
2月前
半兽人 回复 落樱留独殇 关于 kafka 集群设计方案的问题 评论:
是保留,默认7天,一般重要的信息保留30天。它适合做中转,不适合永久存储。
2月前
落樱留独殇 回复 半兽人 关于 kafka 集群设计方案的问题 评论:
但是kafka不也可以存储日志么?
2月前
小八路 回复 落樱留独殇 KafkaStreams客户端(0.10.1.1 API) 评论:
我在例子中这样将结果输出到两个topic的
  wordCounts.toStream().to("streams-plaintext-output", Produced.with(Serdes.String(), Serdes.Long()));
  wordCounts.toStream().to("my-replicated-topic", Produced.with(Serdes.String(), Serdes.Long()));

2月前
落樱留独殇 回复 Kafka Kerberos 启动报错 评论:
上面这个错不是因为ACL类名写错导致的,是我在替换JCE文件后,启动kafka出现的,但是我在重启了zookeeper(kafka自带的)之后,这个问题就没有了。ACL类名写错导致的是 kafka ACL 没生效。这个是kerberos认证的问题。
3月前
落樱留独殇 回复 半兽人 Kafka Kerberos 启动报错 评论:
问题解决了,anuthorizer.class.name = kafka.security.auth.SimpleAclAuthorizer的单词authorizer拼错了……太粗心了……
super.users又改成kafka了,然后发现kafka/XXXX@EX.COM的用户都可以无限制连接,是不是因为super.users是kafka?
krb5.conf 的配置是这样的:

[domain_realm]
kafka = EX.COM
host = EX.COM
zookeeper = EX.COM
127.0.0.1 = EX.COM
10.1.2.46 = EX.COM
bd005 = EX.COM

不知道我理解的对不对,是不是因为kerberos域里设置了kafka=EX.COM,所以kafka/XXXX@EX.COM形式的用户都被解析成或者被认为是super.users用户?


3月前
半兽人 回复 落樱留独殇 Kafka Kerberos 启动报错 评论:
用户命名成这样,我没试过,语法不知道能不能认。
3月前
落樱留独殇 回复 半兽人 Kafka Kerberos 启动报错 评论:
现在可以起来了,但是ACL没起作用,只要通过kerberos认证的用户都可以生产和消费。贴一下配置:
# server.properties
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=GSSAPI
sasl.enabled.mechanisms=GSSAPI
sasl.kerberos.service.name=kafka

anuthorizer.class.name = kafka.security.auth.SimpleAclAuthorizer

super.users=User:kafka/bd-07
allow.everyone.if.no.acl.found=false

super.users之前写的是kafka,改成kafka/bd-07(kafka_server_jaas.conf 的 principal)好像也没什么影响。之前在测试环境做的时候也出现过这个,http://www.orchome.com/378 当时在评论下面,向这个大神请教了这个问题,但是没有得到回复。现在部署到生产上就是按之前的步骤来的,又遇到这个问题了……还望指点。

3月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 评论:
我刚才又试了下,把super.users改回kafka/bd005之后,貌似不行。具体情况是这样的:
我的命令脚本也就是producer/consumer里写的是clients@EX.COM。设置super.users=User:kafka/bd005;User:clients也不行。而且还发现一个现象,设置super.users=User:kafka后。客户端只要是kafka/XXXX@EX.COM这种形式的用户名,都可以无限制连接…………越来越搞不懂这个super.users该怎么设置……

这是kerberos里的用户:
   K/M@EX.COM
admin/admin@EX.COM
clients@EX.COM
host/10.1.2.46@EX.COM
host/bd005@EX.COM
kadmin/admin@EX.COM
kadmin/bd005@EX.COM
kadmin/changepw@EX.COM
kafka/10.1.2.46@EX.COM
kafka/127.0.0.1@EX.COM
kafka/bd005@EX.COM
krbtgt/EX.COM@EX.COM
test/10.1.2.46@EX.COM
test/bd005@EX.COM
zookeeper/10.1.2.46@EX.COM
zookeeper/127.0.0.1@EX.COM
具体的配置在 http://orchome.com/877 这个问题里列出了一部分。目前这块的有些东西理不清,还望您指点指点,麻烦您了,非常感谢!
3月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 评论:
您的意思是我之前的super.users=User:kafka/bd005这个不用改?在后面再加一个User:kafka?是这个意思么?
您写的也是super.users=User:kafka,您的这个“User:kafka”是指kafka@HADOOP.COM这个用户么?大概能理解您的意思了。
3月前
漂泊的美好 回复 落樱留独殇 kafka ACL权限控制相关问题 评论:
你看我的参数,应该设置成super.users=User:kafka/bd005;如果想再次添加超级管理员super.users=User:kafka/bd005;User:admin;kafka权限的用户应该是对应的系统用户,kerberos用户kafka/bd005@EX.COM可以被按照某种规则解析成kafka/bd005被kafka权限所匹配。我这么解释你大概懂了吧。
3月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 评论:
super.users,之前设置的是super.users=kafka/bd005。kafka/bd005是kafka_server_jaas.conf文件中的kafka/bd005@EX.COM。这个super.users的设置和kerberos KDC里的用户有关系吗?
3月前
漂泊的美好 回复 落樱留独殇 kafka ACL权限控制相关问题 评论:
我不明白kafka/bd005设置的是什么参数的值?
3月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 评论:
非常感谢!!我测试的是单机的,kerberos也启用了,就是在ACL这遇到了问题,找了一天没找到问题所在,您一句话就给解决了,我之前设置的kafka/bd005,改成 kafka 确实没问题了。能简单讲一下这其中的原因吗?谢谢!
3月前
漂泊的美好 回复 落樱留独殇 kafka ACL权限控制相关问题 评论:
首先要确保你的kafka集群已正确启用kerberos认证,只有认证用户才可以list生产消费,再来配权限。权限只有两个配置,分别是,authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer和super.users=User:kafka;
3月前
落樱留独殇 回复 漂泊的美好 kafka ACL权限控制相关问题 评论:
你好,我现在遇到和你这个一样的问题,请问你是怎么解决的?望指点,谢谢!
3月前
落樱留独殇 回复 無名 求救:java 连接 kafka kerberos 问题 评论:
kerberos用户认证通了,但是ACL有问题,给topic分配权限后,使用命令测试就出现上面的错,客户端也是,可以连上kafka但是发送/消费不了。http://orchome.com/500 我是按照这个教程做的, 也看了 http://www.orchome.com/378 这个问题,但是没理解……
3月前
無名 回复 落樱留独殇 求救:java 连接 kafka kerberos 问题 评论:
认证失败?这块你不是已经测通过了吗
3月前
落樱留独殇 回复 無名 求救:java 连接 kafka kerberos 问题 评论:
我在server.properties中添加了

authorizer.class.name = kafka.security.auth.SimpleAclAuthorizer
super.users=User:kafka/bd005@EX.COM

然后给 pruducer 和 consumer 分配权限,这是分配后的信息

Current ACLs for resource `Topic:wwxx1`: 
  User:clients has Allow permission for operations: Read from hosts: 10.1.2.46
 User:clients@EX.COM has Allow permission for operations: Write from hosts: 10.1.2.46
 User:clients@EX.COM has Allow permission for operations: Read from hosts: 10.1.2.46
 User:clients has Allow permission for operations: Write from hosts: 10.1.2.46 

Current ACLs for resource `Group:news-consumer-group`: 
  User:clients has Allow permission for operations: Read from hosts: 10.1.2.46
 User:clients@EX.COM has Allow permission for operations: Read from hosts: 10.1.2.46 

通过命令生产和消费,分别出现了:
生产:WARN Bootstrap broker 10.1.2.46:9988 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
消费:WARN Error while fetching metadata with correlation id 3 : {wwxx1=TOPIC_AUTHORIZATION_FAILED} (org.apache.kafka.clients.NetworkClient)
能看出来是哪个地方出现了问题吗?
3月前

落樱留独殇 发表了 关于 kafka 集群设计方案的问题
2月前
落樱留独殇 发表了 Kafka Kerberos 启动报错
3月前
落樱留独殇 发表了 求救:java 连接 kafka kerberos 问题
3月前