OrcHome OrcHome
OrcHome个人中心.
半兽人 修改资料 更换头像
关注(0) 粉丝(0) 积分(0)
关注

暂无关注.....

粉丝

暂无粉丝.....


半兽人 回复 小白晒太阳 中:
version 9以后,kafka的offset默认存储在了kafka中,就是你看到的__consumer_offsets。
32分钟前
小白晒太阳 回复 半兽人 中:
你好,我是禁用自动创建TOPIC的,我在kafka加了一些ACL的一些配置

auto.create.topics.enable=false
allow.everyone.if.no.acl.found=false
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer

我有一个TOPIC  sms,我想在集群以外的一台机器B 上监测sms 的offset和lag值
我在集群上给B机器开通了DESCRIBE的权限,然后在B机器上利用以下脚本去获取offset值
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker -zookeeper ${zk} -topic ${topic} -group ${group}

值都能正常获取,但是运行脚本以后,集群好像就自动创建了__consumer_offsets topic,然后log就不断打印错误。 集群是正常工作的。

9小时前
发表了 docker registry 报“Upload failed, retrying: Received unexpected HTTP status: 500 Internal Server Error”

10小时前
发表了 docker registry push错误

10小时前
半兽人 发表评论:
说是该机没找到对应的topic或分区。
检查下是否关闭了自动创建topic。
查看下集群是否正常。

21小时前
半兽人 发表评论:
前提是topic的分区不是后来扩展的。如果是后来扩展的,这就正常了
1.检查集群的状态,看看对应的分区上的leader是否正常。并到对应的节点上看看kafka系统日志是否有异常。
2.如果还是不行,建议重启相应的kafka节点。
3.最终不行,就要做次迁移来激活平衡了。http://orchome.com/565

21小时前
回复 半兽人 kafka消费者客户端(0.10.0.1API) 中:
每个消费者可以订阅topic,如consumer.subscribe(Arrays.asList("topic1,topic2"));假设有消费者a,b,c,他们属于g1组,但是a订阅topic1,b订阅topic2,c订阅topic1,topic2,那么多于topic1的分区,只有a,c可能会消费吗?
21小时前
半兽人 回复 kafka消费者客户端(0.10.0.1API) 中:
没懂,例如有3个都叫组A的消费者,那么组A就等于它们3个。组A是最小单位。不能在细粒度了。
21小时前
回复 半兽人 kafka SASL验证 中:
确认可行吗?
昨天
半兽人 回复 kafka SASL验证 中:
当然可以了
昨天
半兽人 回复 kafka生产者客户端(0.10.1.1API) 中:
不是分区的缓存大小,是发送时 “缓存消息的大小”。
可以看下这里的说明:http://orchome.com/511
昨天
回复 半兽人 kafka生产者客户端(0.10.1.1API) 中:
谢谢你的回答,但是我还想问下,batch size是指每个分区的缓存大小?到达指定时间发送,这个指定时间有配置参数吗?
昨天
半兽人 回复 kafka生产者客户端(0.10.1.1API) 中:
发送消息缓存有2个条件,满足指定大小,立即发送,到达指定的时间,即使消息大小不满足,也立即发送。
昨天
发表了 在docker里运行jenkins

2天前
发表了 使用Docker搭建jetty或tomcat

2天前
爱静致远 回复 半兽人 kafka在数据迁移期间限制带宽的使用 中:
还是不太理解,能举个例子吗?
2天前
半兽人 回复 爱静致远 kafka在数据迁移期间限制带宽的使用 中:
限流leader副本或follower副本之间的流控
2天前
爱静致远 回复 半兽人 kafka在数据迁移期间限制带宽的使用 中:
半兽人能帮我解决一个问题吗?leader.replication.throttled.replicas  我的QQ,522636854.

3天前
半兽人 使用 SASL/PLAIN 动态更新用户名和密码? 发表评论:
要重启的。
4天前
发表了 Docker网络及flannel介绍

6天前
发表了 ETCD简介

6天前
半兽人 回复 Captain kafka生产者客户端(0.10.1.1API) 中:
有没有报错,kafka配置外网访问了吗。
6天前
格律诗 回复 半兽人 Kafka ACLs权限设置问题 中:
您好,不知道您这边做kafka acl方面的实例没,我发现对User和Host的隔离好像并没有太大的影响,能分享一下您是怎么做的嘛?
7天前
半兽人 回复 格律诗 Kafka ACLs权限设置问题 中:
仔细检查相关步骤。
7天前
格律诗 回复 半兽人 Kafka ACLs权限设置问题 中:
您好,貌似我在不添加host的ACL权限的时候,也是可以发送数据的,这是因为kafka-acl.sh脚本执行的问题嘛?
8天前
虞大眼 回复 半兽人 kafka安装和启动 中:
这个命令没有东西输出,我去重装下,谢谢
9天前
发表了 Linux在shell中日期格式化(时间格式化)

17天前
发表了 Linux使用crontab实现简单定时任务

17天前
发表了 kafka SASL验证

21天前
发表了 java的JIT即时编译

1月前
发表了 时间片-简介

1月前
发表了 内核态和用户态

1月前
发表了 理解linux time命令的real, user和sys

1月前
发表了 JVM的符号引用和直接引用

1月前
发表了 Kafka Connect配置

1月前
发表了 Kafka Streams配置

1月前
发表了 Kafka新消费者配置

1月前
发表了 发行说明 - Kafka - 0.10.2.0版本

2月前
发表了 linux中socket的fd是什么?

2月前
发表了 Linux的句柄是什么?

3月前

半兽人 回复 小白晒太阳 评论:
version 9以后,kafka的offset默认存储在了kafka中,就是你看到的__consumer_offsets。
32分钟前
小白晒太阳 回复 半兽人 评论:
你好,我是禁用自动创建TOPIC的,我在kafka加了一些ACL的一些配置

auto.create.topics.enable=false
allow.everyone.if.no.acl.found=false
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer

我有一个TOPIC  sms,我想在集群以外的一台机器B 上监测sms 的offset和lag值
我在集群上给B机器开通了DESCRIBE的权限,然后在B机器上利用以下脚本去获取offset值
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker -zookeeper ${zk} -topic ${topic} -group ${group}

值都能正常获取,但是运行脚本以后,集群好像就自动创建了__consumer_offsets topic,然后log就不断打印错误。 集群是正常工作的。

9小时前
半兽人 发表评论:
说是该机没找到对应的topic或分区。
检查下是否关闭了自动创建topic。
查看下集群是否正常。

21小时前
半兽人 发表评论:
前提是topic的分区不是后来扩展的。如果是后来扩展的,这就正常了
1.检查集群的状态,看看对应的分区上的leader是否正常。并到对应的节点上看看kafka系统日志是否有异常。
2.如果还是不行,建议重启相应的kafka节点。
3.最终不行,就要做次迁移来激活平衡了。http://orchome.com/565

21小时前
回复 半兽人 kafka消费者客户端(0.10.0.1API) 评论:
每个消费者可以订阅topic,如consumer.subscribe(Arrays.asList("topic1,topic2"));假设有消费者a,b,c,他们属于g1组,但是a订阅topic1,b订阅topic2,c订阅topic1,topic2,那么多于topic1的分区,只有a,c可能会消费吗?
21小时前
半兽人 回复 kafka消费者客户端(0.10.0.1API) 评论:
没懂,例如有3个都叫组A的消费者,那么组A就等于它们3个。组A是最小单位。不能在细粒度了。
21小时前
回复 半兽人 kafka SASL验证 评论:
确认可行吗?
昨天
半兽人 回复 kafka SASL验证 评论:
当然可以了
昨天
半兽人 回复 kafka生产者客户端(0.10.1.1API) 评论:
不是分区的缓存大小,是发送时 “缓存消息的大小”。
可以看下这里的说明:http://orchome.com/511
昨天
回复 半兽人 kafka生产者客户端(0.10.1.1API) 评论:
谢谢你的回答,但是我还想问下,batch size是指每个分区的缓存大小?到达指定时间发送,这个指定时间有配置参数吗?
昨天
半兽人 回复 kafka生产者客户端(0.10.1.1API) 评论:
发送消息缓存有2个条件,满足指定大小,立即发送,到达指定的时间,即使消息大小不满足,也立即发送。
昨天
爱静致远 回复 半兽人 kafka在数据迁移期间限制带宽的使用 评论:
还是不太理解,能举个例子吗?
2天前
半兽人 回复 爱静致远 kafka在数据迁移期间限制带宽的使用 评论:
限流leader副本或follower副本之间的流控
2天前
爱静致远 回复 半兽人 kafka在数据迁移期间限制带宽的使用 评论:
半兽人能帮我解决一个问题吗?leader.replication.throttled.replicas  我的QQ,522636854.

3天前
半兽人 使用 SASL/PLAIN 动态更新用户名和密码? 发表评论:
要重启的。
4天前
半兽人 回复 Captain kafka生产者客户端(0.10.1.1API) 评论:
有没有报错,kafka配置外网访问了吗。
6天前
格律诗 回复 半兽人 Kafka ACLs权限设置问题 评论:
您好,不知道您这边做kafka acl方面的实例没,我发现对User和Host的隔离好像并没有太大的影响,能分享一下您是怎么做的嘛?
7天前
半兽人 回复 格律诗 Kafka ACLs权限设置问题 评论:
仔细检查相关步骤。
7天前
格律诗 回复 半兽人 Kafka ACLs权限设置问题 评论:
您好,貌似我在不添加host的ACL权限的时候,也是可以发送数据的,这是因为kafka-acl.sh脚本执行的问题嘛?
8天前
虞大眼 回复 半兽人 kafka安装和启动 评论:
这个命令没有东西输出,我去重装下,谢谢
9天前