OrcHome OrcHome
OrcHome个人中心.
漂泊的美好 修改资料 更换头像
关注(0) 粉丝(0) 积分(0)
关注

暂无关注.....

粉丝

暂无粉丝.....


漂泊的美好 回复 半兽人 kafka的consumer.offsetsForTimes根据timestamp查找offset返回结果为空 中:
我现在的问题是,在配置log.message.timestamp.type=LogAppendTime参数后,集群启用了timestamp索引。kafka数据目录会多出了一个 SegmentBaseOffset.timeindex的时间索引文件,但是我加数据后,只有log文件和offset.index文件会有变化(大小在增加),而SegmentBaseOffset.timeindex这个文件的大小始终为0,所以我怀疑consumer.offsetsForTimes返回为空,跟这个有关系。我在这个社区中(https://cwiki.apache.org/confluence/display/KAFKA/KIP-33+-+Add+a+time+based+log+index)查到了这么一句话,“For message format v0, the timestamp is always -1, so no time index entry will be inserted when message is appended.”提到了message format v0可能会导致时间索引文件没有任何东西插入。不知道你有何高见?
9天前
发表了 kafka的consumer.offsetsForTimes根据timestamp查找offset返回结果为空

12天前
漂泊的美好 回复 鹰击长空 发行说明 - Kafka - 0.10.0.1版本 中:
您这个时间戳索引功能怎么用?可以根据时间戳消费吗?
1月前
半兽人 回复 漂泊的美好 关于kafka几种threads的疑问 中:
不会的,你看linux那专栏,我常用的服务器检测。vmstat等,看看你系统的资源调度如何。
1月前
漂泊的美好 回复 半兽人 关于kafka几种threads的疑问 中:
1、目前线上集群副本一般设置2-3个,但是数据量挺大的,topic也挺多的,对于32核服务器设置8-12个,是否合适?
2、刚刚看了配置,这几种参数加起来有92,远远超过32,真的不会影响吗?

1月前
发表了 关于kafka几种threads的疑问

1月前
半兽人 回复 漂泊的美好 Kafka日志报错 中:
赞!
1月前
漂泊的美好 Kafka日志报错 发表评论:
应该去node6上看看对应broker的日志。
1月前
半兽人 回复 漂泊的美好 kafka 副本fetch数据异常 中:
认为此broker节点故障。踢出集群,它当前节点上的消息将不可用。
1月前
漂泊的美好 回复 半兽人 kafka 副本fetch数据异常 中:
那如果kafka之间互相复制时响应时间超过设定的这个超时时间,kafka内部会怎么样处理?
1月前
半兽人 回复 漂泊的美好 kafka 副本fetch数据异常 中:
你这个错误表象是网络问题,之前遇到过类似,虽然是内网走千兆网卡,但是依然莫名引起超时导致崩溃。
我针对内部的各类超时时间都放大了,目前再也没出现过了。

1月前
漂泊的美好 回复 半兽人 kafka 副本fetch数据异常 中:
1、request.timeout.ms是这个时间吗?但是这个异常如果不人工干预的话,会一致持续存在。调大时间会奏效吗?
2、应该不是zk的问题,我们zk版本是3.4.5

1月前
发表了 kafka 副本fetch数据异常

1月前
发表了 kafka mirrormaker能否支持从指定时间戳同步数据

1月前
漂泊的美好 回复 半兽人 kafka分区follower保存highWatermarkMetadata的意义是什么? 中:
感谢解惑。
2月前
发表了 kafka分区follower保存highWatermarkMetadata的意义是什么?

2月前
半兽人 回复 漂泊的美好 kafka一个broker报too many open files,导致flume无法发送数据 中:
http://orchome.com/22 这里。
2月前
漂泊的美好 回复 半兽人 kafka一个broker报too many open files,导致flume无法发送数据 中:
还有,您有没有关于详细介绍leader触发选举以及选举流程还有消费者管理机制方面的文章。如果有的话,放不方便提供下。
2月前
漂泊的美好 回复 半兽人 kafka一个broker报too many open files,导致flume无法发送数据 中:
确实现在觉得kafka低版本很稳定。和一个大厂的人聊过,他说他们kafka集群版本很低,很稳定,一致没出过事。现在kafka升到最新反而总出毛病。
2月前
半兽人 回复 漂泊的美好 kafka一个broker报too many open files,导致flume无法发送数据 中:
那就降client吧。降到0.8.2,用老的。
2月前
漂泊的美好 回复 半兽人 kafka一个broker报too many open files,导致flume无法发送数据 中:
但是只有一个节点失效,其他broker均正常。
2月前
漂泊的美好 回复 半兽人 kafka一个broker报too many open files,导致flume无法发送数据 中:
kafka客户端?是指kafka-client jar包吗?这个jar报已经和kafka版本一样了。
2月前
半兽人 回复 漂泊的美好 kafka一个broker报too many open files,导致flume无法发送数据 中:
我印象中当集群中的大部分节点失效了,无法发送新的消息,但是可以正常消费。
2月前
半兽人 回复 漂泊的美好 kafka一个broker报too many open files,导致flume无法发送数据 中:
很多旧连接并未及时关闭的情况下,flume新建了大量的新连接。
可以考虑换升级flume里的kafka客户端,或换成logstash。

2月前
漂泊的美好 回复 半兽人 kafka一个broker报too many open files,导致flume无法发送数据 中:
第一个问题,即使出问题的broker无法连接,topic分布在这个问题broker上的分区leader为-1,但为什么会导致所有数据均无法发送。关于第二个问题,为什么正常会刷这些错误呢?
2月前
发表了 kafka一个broker报too many open files,导致flume无法发送数据

2月前
发表了 kafka启用权限后,kafka-consumer-group.sh查看消费组报错

2月前
发表了 启用kerberos下sparkstreaming读取kafka数据问题

5月前
发表了 关于kafka0.10中consumerGroup中的一些疑惑

8月前
发表了 使用camus将kafka中的数据入hive时,总有几个task失败,导致一些表入不了hive

1年前
发表了 kafka可以跨级群消费吗?

1年前
发表了 kafka-acl java api 使用碰到的问题

1年前
发表了 启用kerberos后,producer,consumer 的java API

1年前
发表了 kafka ACL权限控制相关问题

1年前
发表了 kafka启用kerberos后,新producer和consumer产生的问题,请前辈给指导下

1年前
发表了 kafka 启动kerberos后消费者报错

1年前
发表了 关于kafka kerberos 配置的若干问题,求大神解惑

1年前
发表了 CDH5.7.1、kafkaKAFKA-2.0.0-1.kafka2.0.0.p0.12使用kerberos遇到的问题

1年前

漂泊的美好 回复 半兽人 kafka的consumer.offsetsForTimes根据timestamp查找offset返回结果为空 评论:
我现在的问题是,在配置log.message.timestamp.type=LogAppendTime参数后,集群启用了timestamp索引。kafka数据目录会多出了一个 SegmentBaseOffset.timeindex的时间索引文件,但是我加数据后,只有log文件和offset.index文件会有变化(大小在增加),而SegmentBaseOffset.timeindex这个文件的大小始终为0,所以我怀疑consumer.offsetsForTimes返回为空,跟这个有关系。我在这个社区中(https://cwiki.apache.org/confluence/display/KAFKA/KIP-33+-+Add+a+time+based+log+index)查到了这么一句话,“For message format v0, the timestamp is always -1, so no time index entry will be inserted when message is appended.”提到了message format v0可能会导致时间索引文件没有任何东西插入。不知道你有何高见?
9天前
漂泊的美好 回复 鹰击长空 发行说明 - Kafka - 0.10.0.1版本 评论:
您这个时间戳索引功能怎么用?可以根据时间戳消费吗?
1月前
半兽人 回复 漂泊的美好 关于kafka几种threads的疑问 评论:
不会的,你看linux那专栏,我常用的服务器检测。vmstat等,看看你系统的资源调度如何。
1月前
漂泊的美好 回复 半兽人 关于kafka几种threads的疑问 评论:
1、目前线上集群副本一般设置2-3个,但是数据量挺大的,topic也挺多的,对于32核服务器设置8-12个,是否合适?
2、刚刚看了配置,这几种参数加起来有92,远远超过32,真的不会影响吗?

1月前
半兽人 回复 漂泊的美好 Kafka日志报错 评论:
赞!
1月前
漂泊的美好 Kafka日志报错 发表评论:
应该去node6上看看对应broker的日志。
1月前
半兽人 回复 漂泊的美好 kafka 副本fetch数据异常 评论:
认为此broker节点故障。踢出集群,它当前节点上的消息将不可用。
1月前
漂泊的美好 回复 半兽人 kafka 副本fetch数据异常 评论:
那如果kafka之间互相复制时响应时间超过设定的这个超时时间,kafka内部会怎么样处理?
1月前
半兽人 回复 漂泊的美好 kafka 副本fetch数据异常 评论:
你这个错误表象是网络问题,之前遇到过类似,虽然是内网走千兆网卡,但是依然莫名引起超时导致崩溃。
我针对内部的各类超时时间都放大了,目前再也没出现过了。

1月前
漂泊的美好 回复 半兽人 kafka 副本fetch数据异常 评论:
1、request.timeout.ms是这个时间吗?但是这个异常如果不人工干预的话,会一致持续存在。调大时间会奏效吗?
2、应该不是zk的问题,我们zk版本是3.4.5

1月前
漂泊的美好 回复 半兽人 kafka分区follower保存highWatermarkMetadata的意义是什么? 评论:
感谢解惑。
2月前
半兽人 回复 漂泊的美好 kafka一个broker报too many open files,导致flume无法发送数据 评论:
http://orchome.com/22 这里。
2月前
漂泊的美好 回复 半兽人 kafka一个broker报too many open files,导致flume无法发送数据 评论:
还有,您有没有关于详细介绍leader触发选举以及选举流程还有消费者管理机制方面的文章。如果有的话,放不方便提供下。
2月前
漂泊的美好 回复 半兽人 kafka一个broker报too many open files,导致flume无法发送数据 评论:
确实现在觉得kafka低版本很稳定。和一个大厂的人聊过,他说他们kafka集群版本很低,很稳定,一致没出过事。现在kafka升到最新反而总出毛病。
2月前
半兽人 回复 漂泊的美好 kafka一个broker报too many open files,导致flume无法发送数据 评论:
那就降client吧。降到0.8.2,用老的。
2月前
漂泊的美好 回复 半兽人 kafka一个broker报too many open files,导致flume无法发送数据 评论:
但是只有一个节点失效,其他broker均正常。
2月前
漂泊的美好 回复 半兽人 kafka一个broker报too many open files,导致flume无法发送数据 评论:
kafka客户端?是指kafka-client jar包吗?这个jar报已经和kafka版本一样了。
2月前
半兽人 回复 漂泊的美好 kafka一个broker报too many open files,导致flume无法发送数据 评论:
我印象中当集群中的大部分节点失效了,无法发送新的消息,但是可以正常消费。
2月前
半兽人 回复 漂泊的美好 kafka一个broker报too many open files,导致flume无法发送数据 评论:
很多旧连接并未及时关闭的情况下,flume新建了大量的新连接。
可以考虑换升级flume里的kafka客户端,或换成logstash。

2月前
漂泊的美好 回复 半兽人 kafka一个broker报too many open files,导致flume无法发送数据 评论:
第一个问题,即使出问题的broker无法连接,topic分布在这个问题broker上的分区leader为-1,但为什么会导致所有数据均无法发送。关于第二个问题,为什么正常会刷这些错误呢?
2月前