OrcHome OrcHome
OrcHome个人中心.

小小火柴

已关注 关注

关注

暂无关注.....

粉丝

暂无粉丝.....


半兽人 回复 小小火柴 kafka认证和acl 中:
SASL+ACL
15天前
小小火柴 kafka认证和acl 发表评论:
你好,单独设置这个好像没什么用,是否要跟kerberos之类的安全认证一起使用才可以。就算设置了acl,所有的用户还是都可以读写kafka
7月前
小小火柴 回复 chris chelio kafka-manager无法获取正在消费的消费组信息 中:
我连接kerberos认证的kafka集群,这个也不能显示,不知道什么原因。没有kerberos认证的集群就正常
7月前
chris chelio 回复 小小火柴 kafka-manager无法获取正在消费的消费组信息 中:
升级最新版本后可解决这个问题
7月前
小小火柴 回复 chris chelio kafka-manager无法获取正在消费的消费组信息 中:
Enable JMX Polling (Set JMX_PORT env variable before starting kafka server)  Poll consumer information (Not recommended for large # of consumers)
8月前
chris chelio 回复 小小火柴 kafka-manager无法获取正在消费的消费组信息 中:
加了:
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    export JMX_PORT="5001"
fi
8月前
小小火柴 回复 chris chelio kafka-manager无法获取正在消费的消费组信息 中:
kafka启动的时候记得在启动脚本等价jmx端口
8月前
chris chelio 回复 小小火柴 kafka-manager无法获取正在消费的消费组信息 中:
有的topic 消费组在消费的时候是可以拿到的。我刚用jconsl连接了一下jmx,确实是会报错
8月前
chris chelio 回复 小小火柴 kafka-manager无法获取正在消费的消费组信息 中:

8月前
小小火柴 kafka-manager无法获取正在消费的消费组信息 发表评论:
jmx端口要开,Poll consumer information 要勾选
8月前
发表了 kafka清除策略问题
8月前
发表了 kafka生产者 batch.size
1年前
小小火柴 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 发表评论:
我也遇到这种问题,但是不影响使用。报错也是只报一次
1年前
小小火柴 回复 地中海的蓝 kafka broker数据丢失问题 中:
你生产者send的时候要自己去捕获异常(send方法的第二个参数可以指定。如果直接使用try catch是无法知道是否生产者有问题。)。另外建议提高生产者重试次数。我有遇到这种情况。生产者显示丢一条记录。同样也是在broker Controller 切换的时候
1年前
半兽人 回复 小小火柴 kafka进程还在,但是该broker对应的机器没有流量出入。此时要如何处理? 中:
我怀疑是网络问题:
1、首先这台broker是否健康(只消费和生产该kafka的消息)
2、hostname要配好对应的ip
3、确认外部能telnet通端口和ip

1年前
小小火柴 回复 半兽人 kafka进程还在,但是该broker对应的机器没有流量出入。此时要如何处理? 中:
你好,同样的问题,但是这个平衡leader没有用。目前的现象是broker=1的那台机器的kafka进程还在,但是server.log 已经不更新了。另一台broker=0的server.log显示 WARN [ReplicaFetcherThread-0-1], Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@6ad018db (kafka.server.ReplicaFetcherThread)
java.io.IOException: Connection to 1 was disconnected before the response was read

1年前
半兽人 回复 小小火柴 kafka进程还在,但是该broker对应的机器没有流量出入。此时要如何处理? 中:
如果你的broker恢复了,当然可以用了。
1年前
小小火柴 回复 半兽人 kafka进程还在,但是该broker对应的机器没有流量出入。此时要如何处理? 中:

你好,是这样的,另一台的log日志已经报错了。
WARN [ReplicaFetcherThread-0-1], Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@3aa0639b (kafka.server.ReplicaFetcherThread)
java.io.IOException: Connection to 1 was disconnected before the response was read。

broker1的kafka进程还在,但是已经没有数据写入这台了。这种情况下,去平衡leader有用吗?
1年前
发表了 kafka进程还在,但是该broker对应的机器没有流量出入。此时要如何处理?
1年前
半兽人 回复 小小火柴 kafka0.10 kafka-consumer-groups.sh的结果只有一个组:KafkaManagerOffsetCache。但是实际上集群中是有很多正在消费的组。这是为什么? 中:
如果查寻不到就认为是异常
1年前
小小火柴 回复 半兽人 kafka0.10 kafka-consumer-groups.sh的结果只有一个组:KafkaManagerOffsetCache。但是实际上集群中是有很多正在消费的组。这是为什么? 中:
我要监控所有的消费者呢
1年前
半兽人 回复 小小火柴 kafka0.10 kafka-consumer-groups.sh的结果只有一个组:KafkaManagerOffsetCache。但是实际上集群中是有很多正在消费的组。这是为什么? 中:
这些命令都只能监控活跃的消费者。
1年前
小小火柴 回复 半兽人 kafka0.10 kafka-consumer-groups.sh的结果只有一个组:KafkaManagerOffsetCache。但是实际上集群中是有很多正在消费的组。这是为什么? 中:
你可以试下,在消费者先消费,然后关闭。过会去运行命令是不行的。如果是消费者正在运行,那是可以的
1年前
发表了 kafka0.10 kafka-consumer-groups.sh的结果只有一个组:KafkaManagerOffsetCache。但是实际上集群中是有很多正在消费的组。这是为什么?
1年前

半兽人 回复 小小火柴 kafka认证和acl 评论:
SASL+ACL
15天前
小小火柴 kafka认证和acl 发表评论:
你好,单独设置这个好像没什么用,是否要跟kerberos之类的安全认证一起使用才可以。就算设置了acl,所有的用户还是都可以读写kafka
7月前
小小火柴 回复 chris chelio kafka-manager无法获取正在消费的消费组信息 评论:
我连接kerberos认证的kafka集群,这个也不能显示,不知道什么原因。没有kerberos认证的集群就正常
7月前
chris chelio 回复 小小火柴 kafka-manager无法获取正在消费的消费组信息 评论:
升级最新版本后可解决这个问题
7月前
小小火柴 回复 chris chelio kafka-manager无法获取正在消费的消费组信息 评论:
Enable JMX Polling (Set JMX_PORT env variable before starting kafka server)  Poll consumer information (Not recommended for large # of consumers)
8月前
chris chelio 回复 小小火柴 kafka-manager无法获取正在消费的消费组信息 评论:
加了:
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    export JMX_PORT="5001"
fi
8月前
小小火柴 回复 chris chelio kafka-manager无法获取正在消费的消费组信息 评论:
kafka启动的时候记得在启动脚本等价jmx端口
8月前
chris chelio 回复 小小火柴 kafka-manager无法获取正在消费的消费组信息 评论:
有的topic 消费组在消费的时候是可以拿到的。我刚用jconsl连接了一下jmx,确实是会报错
8月前
chris chelio 回复 小小火柴 kafka-manager无法获取正在消费的消费组信息 评论:

8月前
小小火柴 kafka-manager无法获取正在消费的消费组信息 发表评论:
jmx端口要开,Poll consumer information 要勾选
8月前
小小火柴 创建topic时报错: org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition. 发表评论:
我也遇到这种问题,但是不影响使用。报错也是只报一次
1年前
小小火柴 回复 地中海的蓝 kafka broker数据丢失问题 评论:
你生产者send的时候要自己去捕获异常(send方法的第二个参数可以指定。如果直接使用try catch是无法知道是否生产者有问题。)。另外建议提高生产者重试次数。我有遇到这种情况。生产者显示丢一条记录。同样也是在broker Controller 切换的时候
1年前
半兽人 回复 小小火柴 kafka进程还在,但是该broker对应的机器没有流量出入。此时要如何处理? 评论:
我怀疑是网络问题:
1、首先这台broker是否健康(只消费和生产该kafka的消息)
2、hostname要配好对应的ip
3、确认外部能telnet通端口和ip

1年前
小小火柴 回复 半兽人 kafka进程还在,但是该broker对应的机器没有流量出入。此时要如何处理? 评论:
你好,同样的问题,但是这个平衡leader没有用。目前的现象是broker=1的那台机器的kafka进程还在,但是server.log 已经不更新了。另一台broker=0的server.log显示 WARN [ReplicaFetcherThread-0-1], Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@6ad018db (kafka.server.ReplicaFetcherThread)
java.io.IOException: Connection to 1 was disconnected before the response was read

1年前
半兽人 回复 小小火柴 kafka进程还在,但是该broker对应的机器没有流量出入。此时要如何处理? 评论:
如果你的broker恢复了,当然可以用了。
1年前
小小火柴 回复 半兽人 kafka进程还在,但是该broker对应的机器没有流量出入。此时要如何处理? 评论:

你好,是这样的,另一台的log日志已经报错了。
WARN [ReplicaFetcherThread-0-1], Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@3aa0639b (kafka.server.ReplicaFetcherThread)
java.io.IOException: Connection to 1 was disconnected before the response was read。

broker1的kafka进程还在,但是已经没有数据写入这台了。这种情况下,去平衡leader有用吗?
1年前
半兽人 回复 小小火柴 kafka0.10 kafka-consumer-groups.sh的结果只有一个组:KafkaManagerOffsetCache。但是实际上集群中是有很多正在消费的组。这是为什么? 评论:
如果查寻不到就认为是异常
1年前
小小火柴 回复 半兽人 kafka0.10 kafka-consumer-groups.sh的结果只有一个组:KafkaManagerOffsetCache。但是实际上集群中是有很多正在消费的组。这是为什么? 评论:
我要监控所有的消费者呢
1年前
半兽人 回复 小小火柴 kafka0.10 kafka-consumer-groups.sh的结果只有一个组:KafkaManagerOffsetCache。但是实际上集群中是有很多正在消费的组。这是为什么? 评论:
这些命令都只能监控活跃的消费者。
1年前
小小火柴 回复 半兽人 kafka0.10 kafka-consumer-groups.sh的结果只有一个组:KafkaManagerOffsetCache。但是实际上集群中是有很多正在消费的组。这是为什么? 评论:
你可以试下,在消费者先消费,然后关闭。过会去运行命令是不行的。如果是消费者正在运行,那是可以的
1年前