OrcHome OrcHome
OrcHome个人中心.
半兽人 修改资料 更换头像
关注(0) 粉丝(0) 积分(0)
关注

暂无关注.....

粉丝

暂无粉丝.....


雁过留声 回复 半兽人 中:
那要怎么搞呢?不停止0.8.1的consumer同时跑0.10.1的consumer?我刚测了一下同一个数据会被消费两次,0.10.1没有group.id配置了




2天前
半兽人 回复 雁过留声 中:
consumer不能停,如果停了offset就不提交了,同步就没有作用了。
2天前
雁过留声 回复 半兽人 中:
我测了一下还是断续的,我先是用0.8.1的consumer去跑 ,然后停掉,用0.10.1的consumer去跑,就接不上了,0.10.1的配置里加了dual.commit.enabled=true
2天前
半兽人 回复 雁过留声 中:
支持的。http://orchome.com/29
这里有切换的详细步骤。

2天前
雁过留声 回复 半兽人 中:
我测试的没有同步,输出所有参数发现上面两个参数已经不支持了
2天前
半兽人 回复 雁过留声 中:
会同步一份到kafka的。
2天前
雁过留声 回复 半兽人 中:
但是这样有个问题,就是0.8的offset是存在zk的,集群升级到0.10.1,客户端也升级了,此时offset是存到kafka的,跟之前的offset连不上了,会丢失一部分数据
2天前
半兽人 回复 雁过留声 中:
不用,如果你想换回zk的时候才需要。
2天前
雁过留声 回复 半兽人 中:
默认存在kafka我就不用添加offsets.storage=kafka、dual.commit.enabled=true配置了吧,感觉也没用,0.10.1中没有它们了
2天前
半兽人 发表评论:
另外,消费者版本要大于0.9版本。
2天前
半兽人 发表评论:
0.10.1.1默认就是存放在kafka中了。
KafkaOffsetMonitor的方式判断是可以的。


2天前
半兽人 回复 雁过留声 kafka消费者客户端(0.10.0.1API) 中:
支持的。可以这么设置,dual,commit.enabled的用法你在看下。
4天前
半兽人 回复 我是谁 中:
恭喜!
4天前
我是谁 回复 半兽人 中:
目前已经可以了,谢谢啦
4天前
我是谁 回复 半兽人 中:
zookeeper版本是3.4.5-cdh5.5.1,目前这个错误不再报了,主要是对照你的实战笔记做了下修改。但是在启动producer后尝试发送消息时会报错如下,而且consumer那端也接收不到消息。

[root@ws-node01 kafka]# ./producer.sh 
aaa
[2017-01-17 14:56:17,058] ERROR Error when sending message to topic xdfjc1 with key: null, value: 3 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for xdfjc1-0 due to 1509 ms has passed since batch creation plus linger time



其中producer.sh脚本内容如下:

#!/bin/sh
export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/opt/kafka/kafka/config/kafka_client_jaas.conf"
kafka-console-producer.sh --broker-list ws-node01:9092,ws-node02:9092,ws-node03:9092 --topic xdfjc1 --producer.config ./config/producer.properties




4天前
发表了 从老版本升级kafka

5天前
雁过留声 回复 半兽人 中:
恩,必须给大神点赞
5天前
半兽人 回复 雁过留声 中:
先看网官吧,我抽空整理一下升级的相关文章。
5天前
雁过留声 回复 半兽人 中:
嗯啊,我都是在官网学习的。我只是感觉升个级每个broker要重启两次有点怪怪的
5天前
半兽人 回复 雁过留声 中:
http://kafka.apache.org/documentation/#upgrade
你可以看下详细的升级步骤。

5天前
雁过留声 回复 半兽人 中:
那这样一个broker要重启两次啊?
5天前
发表了 kafka实战kerberos(笔记)

11天前
发表了 kafka配额

14天前
发表了 5.1 elasticsearch删除历史日志

24天前
发表了 设置5.1 elasticsearch的默认分区数和副本数

24天前
发表了 elasticsearsh5.1.1集群搭建

1月前
发表了 liunx下elasticSearch 5.1.1安装及head安装

1月前
发表了 logstash的type用法

1月前
发表了 logstash区分不同数据源并输出到不同的地方

1月前
发表了 Zookeeper升级新版本步骤

1月前
发表了 Linux vmstat命令的使用

1月前
发表了 ElasticSearch定时删除数据

2月前
发表了 kafka broker配置(0.10版)

2月前
发表了 logstash自定义正则表达式

2月前
发表了 logstash合并java多行日志异常

2月前
发表了 将message日志中的字符串时间格式转化成@timestamp

2月前
发表了 logstash中的时间不对称

2月前
发表了 Linux服务器清除日志(/dev/sda3)

2月前
发表了 Logstash使用详解

2月前
发表了 java8没有永久代了

2月前

雁过留声 回复 半兽人 评论:
那要怎么搞呢?不停止0.8.1的consumer同时跑0.10.1的consumer?我刚测了一下同一个数据会被消费两次,0.10.1没有group.id配置了




2天前
半兽人 回复 雁过留声 评论:
consumer不能停,如果停了offset就不提交了,同步就没有作用了。
2天前
雁过留声 回复 半兽人 评论:
我测了一下还是断续的,我先是用0.8.1的consumer去跑 ,然后停掉,用0.10.1的consumer去跑,就接不上了,0.10.1的配置里加了dual.commit.enabled=true
2天前
半兽人 回复 雁过留声 评论:
支持的。http://orchome.com/29
这里有切换的详细步骤。

2天前
雁过留声 回复 半兽人 评论:
我测试的没有同步,输出所有参数发现上面两个参数已经不支持了
2天前
半兽人 回复 雁过留声 评论:
会同步一份到kafka的。
2天前
雁过留声 回复 半兽人 评论:
但是这样有个问题,就是0.8的offset是存在zk的,集群升级到0.10.1,客户端也升级了,此时offset是存到kafka的,跟之前的offset连不上了,会丢失一部分数据
2天前
半兽人 回复 雁过留声 评论:
不用,如果你想换回zk的时候才需要。
2天前
雁过留声 回复 半兽人 评论:
默认存在kafka我就不用添加offsets.storage=kafka、dual.commit.enabled=true配置了吧,感觉也没用,0.10.1中没有它们了
2天前
半兽人 发表评论:
另外,消费者版本要大于0.9版本。
2天前
半兽人 发表评论:
0.10.1.1默认就是存放在kafka中了。
KafkaOffsetMonitor的方式判断是可以的。


2天前
半兽人 回复 雁过留声 kafka消费者客户端(0.10.0.1API) 评论:
支持的。可以这么设置,dual,commit.enabled的用法你在看下。
4天前
半兽人 回复 我是谁 评论:
恭喜!
4天前
我是谁 回复 半兽人 评论:
目前已经可以了,谢谢啦
4天前
我是谁 回复 半兽人 评论:
zookeeper版本是3.4.5-cdh5.5.1,目前这个错误不再报了,主要是对照你的实战笔记做了下修改。但是在启动producer后尝试发送消息时会报错如下,而且consumer那端也接收不到消息。

[root@ws-node01 kafka]# ./producer.sh 
aaa
[2017-01-17 14:56:17,058] ERROR Error when sending message to topic xdfjc1 with key: null, value: 3 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for xdfjc1-0 due to 1509 ms has passed since batch creation plus linger time



其中producer.sh脚本内容如下:

#!/bin/sh
export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/opt/kafka/kafka/config/kafka_client_jaas.conf"
kafka-console-producer.sh --broker-list ws-node01:9092,ws-node02:9092,ws-node03:9092 --topic xdfjc1 --producer.config ./config/producer.properties




4天前
雁过留声 回复 半兽人 评论:
恩,必须给大神点赞
5天前
半兽人 回复 雁过留声 评论:
先看网官吧,我抽空整理一下升级的相关文章。
5天前
雁过留声 回复 半兽人 评论:
嗯啊,我都是在官网学习的。我只是感觉升个级每个broker要重启两次有点怪怪的
5天前
半兽人 回复 雁过留声 评论:
http://kafka.apache.org/documentation/#upgrade
你可以看下详细的升级步骤。

5天前
雁过留声 回复 半兽人 评论:
那这样一个broker要重启两次啊?
5天前