OrcHome OrcHome
OrcHome个人中心.

半兽人

已关注 关注

对于新兴事物,第一看不见,第二看不起,第三看不懂,第四来不及!

对于新兴事物,第一看不见,第二看不起,第三看不懂,第四来不及!

关注

暂无关注.....

粉丝

暂无粉丝.....


半兽人 kafka streams流处理中的时间戳顺序问题 发表评论:
并发没办法的 除非你要串行处理
7小时前
半兽人 你好,请问能否替换__consumer_offsets,使用自定义的topic存储偏移量? 发表评论:
你这是要改源码了
7小时前
╰(‵□′)╯ 回复 半兽人 kafka用命令发送数据,报错? 中:
我想从代码层面了解流程机制。。。。。
昨天
半兽人 回复 ╰(‵□′)╯ kafka用命令发送数据,报错? 中:
服务端没认为成功,客户端设置多少都会超时。
昨天
╰(‵□′)╯ 回复 半兽人 kafka用命令发送数据,报错? 中:
我猜测也是这个问题,但是我想知道代码的哪个流程造成的这种现象?不管我设定 requestTimeoutMs为多少,都会有问题,看代码不合理啊
昨天
半兽人 回复 ╰(‵□′)╯ kafka用命令发送数据,报错? 中:
test-0分区,是不是之前有调整过磁盘或者重装过?
昨天
╰(‵□′)╯ 回复 半兽人 kafka用命令发送数据,报错? 中:
listeners=PLAINTEXT://192.168.34.11:9092  ,写IP地址了,
昨天
半兽人 回复 ╰(‵□′)╯ kafka用命令发送数据,报错? 中:
你的listener配置的什么,看看
昨天
╰(‵□′)╯ 回复 半兽人 kafka用命令发送数据,报错? 中:
只有这个topic会报错,其他topic都好使,并且我定位到代码,RecordBatch类的maybeExpire这个方法:!this.inRetry() && requestTimeoutMs < (now - (this.createdMs + lingerMs),第一个问题:这是在什么情况会走这个分支?第二个问题:我把requestTimeoutMs 这个参数改成50000ms,50000ms后依然报这个错(50045 ms has passed....),能解释一下这快代码是如何运转,才导致这种情况的么?
2天前
半兽人 回复 Finder kafka进程还在,但是该broker对应的机器没有流量出入。此时要如何处理? 中:
老哥,不是同一个问题,不要在这里问呀。新开个提问窗口吧。
另外,这种异常,一定会伴随着不正常的日志,可以到新问题窗口里贴出来进行分析。
2天前
Finder 回复 半兽人 kafka进程还在,但是该broker对应的机器没有流量出入。此时要如何处理? 中:
楼主你好,现在遇到个情况,kafka进程还在,但是在zookeeper,kafka中重启后,仍然无法在zookeeper无法看到对应kafka 的brokerid,请楼主给指导下怎么解决
2天前
半兽人 kafka用命令发送数据,报错? 发表评论:
你这个是超时额。telnet下。
2天前
半兽人 如何调整kafka的打印日志级别?kafka打印的日志在哪? 发表评论:
config/log4j.properties
2天前
发表了 发布通知 - Kafka - 1.1.0版本
3天前
恋茶慕雨 回复 半兽人 reassign partition加throttle限制,一定要将该topic下的所有的partition都加上吗? 中:
不好意思,没有写明白。
我在执行命令kafka-reassign-partitions.sh --execute --zookeeper 10.23.58.141:2181/kafka --reassignment-json-file file.json 的时候,加上--throttle 50000000的限制,会报错 java.util.NoSuchElementException。
但是如果我执行命令不加--throttle 50000000的限制,运行是成功的,或者在json文件中把该partition所有的3个replicas都写上,也是可以运行成功的,不知道原因是什么。

然后我的file.json是{"partitions":[{"topic":"test","partition":2,"replicas":[2,3]}]},这个partition有3个replicas。
5天前
半兽人 reassign partition加throttle限制,一定要将该topic下的所有的partition都加上吗? 发表评论:
没看懂额。
5天前
图图 关注了 半兽人
5天前
半兽人 回复 宁静致远 Kafka Producer配置 中:
哈哈,恭喜。
6天前
宁静致远 回复 半兽人 Kafka Producer配置 中:
就在刚刚,终于知道是怎么回事了,哈哈哈哈哈哈哈,好开心。正确的配置确实是kafkaParameters.put("fetch.message.max.bytes","52428800"),因为刚开始我可能给设置成5242880000,超过了int的大小(估计这个值应该是int,不应该是Long),int的取值范围是(-2147483648~2147483648);而后来又给设置成52428800L(Long)了,所以也是转化的过程中报错了,所以最后配置成52428800就成功了。哈哈哈  谢谢大神的引导~~~~
6天前
VIGO 回复 半兽人 kafka实战kerberos(笔记) 中:
感谢回复, 搜了下,还不是很明白, 如果设置了acl, 不同用户去生产消费, 是不是需要用不同的客户端实例? producer是不是就不能使用同一个了
6天前
半兽人 回复 VIGO kafka实战kerberos(笔记) 中:
http://orchome.com/553
搜索一下“动态”
6天前
半兽人 回复 宁静致远 Kafka Producer配置 中:
java写的用这个呀。
Properties props = new Properties();

6天前
無名 关注了 半兽人
7天前
发表了 Java中Class.this和this的区别
13天前
发表了 基于ERC20 Token发行自己的以太坊代币
15天前
发表了 以太坊里的ERC和EIP代表着什么?
15天前
宁静致远 关注了 半兽人
16天前
千鹤·重弹 关注了 半兽人
23天前
Dreamcatcher 关注了 半兽人
26天前
发表了 kafka通过开始和结束时间戳,消费消息。
28天前
发表了 Java Callable和Future
1月前
发表了 patricia Trie的java实现
1月前
发表了 java.util.function之function
1月前
发表了 java.util.function之Supplier
1月前
发表了 java.util.function之Predicate
1月前
发表了 java.util.function之Consumer
1月前
发表了 Java实现简单的Trie
1月前
发表了 IndexedBlockStore的用法 - ethereumj
1月前
发表了 区块详解 - ethereumj
1月前
半兽人 收藏了 kafka 主题!
1月前
发表了 以太坊Gas、Gas Price、Gas limit入门
1月前
发表了 以太坊ABI介绍
1月前
发表了 以太坊代币单位说明
1月前
发表了 以太坊JSON RPC API介绍
2月前
发表了 手把手教你写Kafka Streams程序
2月前
发表了 智能合约之间的调用方式
2月前
半兽人 赞了 kafka生产者API
2月前
半兽人 赞了 kafka中文教程
3月前
关注了 半兽人
3月前
半兽人 赞了 kafka中文教程
4月前
半兽人 赞了 kafka安装和启动
5月前
半兽人 赞了 kafka安装和启动
8月前
半兽人 赞了 Scala伴生对象
10月前
半兽人 赞了 进程和线程之由来 - java
10月前
半兽人 赞了 kafka副本和leader选举
1年前
半兽人 赞了 发行说明 - Kafka - 0.10.2.0版本
1年前
半兽人 赞了 发行说明 - Kafka - 0.10.2.0版本
1年前
半兽人 赞了 发布说明 - Kafka - 0.11.0.0版本
1年前
半兽人 赞了 kafka生产者客户端(0.10.1.1API)
1年前
半兽人 赞了 我是一个线程
1年前
半兽人 赞了 kafka设计动机
1年前
半兽人 赞了 kafka生产服务器配置
1年前
半兽人 收藏了 ask 主题!
1年前
半兽人 赞了 kafka网络层
1年前
半兽人 赞了 我是一个线程
1年前
半兽人 赞了 RabbitMQ和kafka从几个角度简单的对比
1年前
半兽人 赞了 使用Kafka Stream处理数据
1年前
半兽人 赞了 我是一个线程
1年前
半兽人 收藏了 linux 主题!
1年前

半兽人 kafka streams流处理中的时间戳顺序问题 发表评论:
并发没办法的 除非你要串行处理
7小时前
半兽人 你好,请问能否替换__consumer_offsets,使用自定义的topic存储偏移量? 发表评论:
你这是要改源码了
7小时前
╰(‵□′)╯ 回复 半兽人 kafka用命令发送数据,报错? 评论:
我想从代码层面了解流程机制。。。。。
昨天
半兽人 回复 ╰(‵□′)╯ kafka用命令发送数据,报错? 评论:
服务端没认为成功,客户端设置多少都会超时。
昨天
╰(‵□′)╯ 回复 半兽人 kafka用命令发送数据,报错? 评论:
我猜测也是这个问题,但是我想知道代码的哪个流程造成的这种现象?不管我设定 requestTimeoutMs为多少,都会有问题,看代码不合理啊
昨天
半兽人 回复 ╰(‵□′)╯ kafka用命令发送数据,报错? 评论:
test-0分区,是不是之前有调整过磁盘或者重装过?
昨天
╰(‵□′)╯ 回复 半兽人 kafka用命令发送数据,报错? 评论:
listeners=PLAINTEXT://192.168.34.11:9092  ,写IP地址了,
昨天
半兽人 回复 ╰(‵□′)╯ kafka用命令发送数据,报错? 评论:
你的listener配置的什么,看看
昨天
╰(‵□′)╯ 回复 半兽人 kafka用命令发送数据,报错? 评论:
只有这个topic会报错,其他topic都好使,并且我定位到代码,RecordBatch类的maybeExpire这个方法:!this.inRetry() && requestTimeoutMs < (now - (this.createdMs + lingerMs),第一个问题:这是在什么情况会走这个分支?第二个问题:我把requestTimeoutMs 这个参数改成50000ms,50000ms后依然报这个错(50045 ms has passed....),能解释一下这快代码是如何运转,才导致这种情况的么?
2天前
半兽人 回复 Finder kafka进程还在,但是该broker对应的机器没有流量出入。此时要如何处理? 评论:
老哥,不是同一个问题,不要在这里问呀。新开个提问窗口吧。
另外,这种异常,一定会伴随着不正常的日志,可以到新问题窗口里贴出来进行分析。
2天前
Finder 回复 半兽人 kafka进程还在,但是该broker对应的机器没有流量出入。此时要如何处理? 评论:
楼主你好,现在遇到个情况,kafka进程还在,但是在zookeeper,kafka中重启后,仍然无法在zookeeper无法看到对应kafka 的brokerid,请楼主给指导下怎么解决
2天前
半兽人 kafka用命令发送数据,报错? 发表评论:
你这个是超时额。telnet下。
2天前
半兽人 如何调整kafka的打印日志级别?kafka打印的日志在哪? 发表评论:
config/log4j.properties
2天前
恋茶慕雨 回复 半兽人 reassign partition加throttle限制,一定要将该topic下的所有的partition都加上吗? 评论:
不好意思,没有写明白。
我在执行命令kafka-reassign-partitions.sh --execute --zookeeper 10.23.58.141:2181/kafka --reassignment-json-file file.json 的时候,加上--throttle 50000000的限制,会报错 java.util.NoSuchElementException。
但是如果我执行命令不加--throttle 50000000的限制,运行是成功的,或者在json文件中把该partition所有的3个replicas都写上,也是可以运行成功的,不知道原因是什么。

然后我的file.json是{"partitions":[{"topic":"test","partition":2,"replicas":[2,3]}]},这个partition有3个replicas。
5天前
半兽人 reassign partition加throttle限制,一定要将该topic下的所有的partition都加上吗? 发表评论:
没看懂额。
5天前
半兽人 回复 宁静致远 Kafka Producer配置 评论:
哈哈,恭喜。
6天前
宁静致远 回复 半兽人 Kafka Producer配置 评论:
就在刚刚,终于知道是怎么回事了,哈哈哈哈哈哈哈,好开心。正确的配置确实是kafkaParameters.put("fetch.message.max.bytes","52428800"),因为刚开始我可能给设置成5242880000,超过了int的大小(估计这个值应该是int,不应该是Long),int的取值范围是(-2147483648~2147483648);而后来又给设置成52428800L(Long)了,所以也是转化的过程中报错了,所以最后配置成52428800就成功了。哈哈哈  谢谢大神的引导~~~~
6天前
VIGO 回复 半兽人 kafka实战kerberos(笔记) 评论:
感谢回复, 搜了下,还不是很明白, 如果设置了acl, 不同用户去生产消费, 是不是需要用不同的客户端实例? producer是不是就不能使用同一个了
6天前
半兽人 回复 VIGO kafka实战kerberos(笔记) 评论:
http://orchome.com/553
搜索一下“动态”
6天前
半兽人 回复 宁静致远 Kafka Producer配置 评论:
java写的用这个呀。
Properties props = new Properties();

6天前

半兽人 发表了 发布通知 - Kafka - 1.1.0版本
3天前
半兽人 发表了 Java中Class.this和this的区别
13天前
半兽人 发表了 基于ERC20 Token发行自己的以太坊代币
15天前
半兽人 发表了 以太坊里的ERC和EIP代表着什么?
15天前
半兽人 发表了 kafka通过开始和结束时间戳,消费消息。
28天前
半兽人 发表了 Java Callable和Future
1月前
半兽人 发表了 patricia Trie的java实现
1月前
半兽人 发表了 java.util.function之function
1月前
半兽人 发表了 java.util.function之Supplier
1月前
半兽人 发表了 java.util.function之Predicate
1月前
半兽人 发表了 java.util.function之Consumer
1月前
半兽人 发表了 Java实现简单的Trie
1月前
半兽人 发表了 IndexedBlockStore的用法 - ethereumj
1月前
半兽人 发表了 区块详解 - ethereumj
1月前
半兽人 发表了 以太坊Gas、Gas Price、Gas limit入门
1月前
半兽人 发表了 以太坊ABI介绍
1月前
半兽人 发表了 以太坊代币单位说明
1月前
半兽人 发表了 以太坊JSON RPC API介绍
2月前
半兽人 发表了 手把手教你写Kafka Streams程序
2月前
半兽人 发表了 智能合约之间的调用方式
2月前

半兽人 收藏了 linux 主题!
1年前
半兽人 收藏了 ask 主题!
1年前
半兽人 收藏了 kafka 主题!
1月前