OrcHome OrcHome
OrcHome个人中心.

半兽人

已关注 关注

对于新兴事物,第一看不见,第二看不起,第三看不懂,第四来不及。

对于新兴事物,第一看不见,第二看不起,第三看不懂,第四来不及。

关注

暂无关注.....

粉丝

暂无粉丝.....


半兽人 回复 电杆GG kafka connect 启动后,报错:Task is being killed and will not recover until manually restarted? 中:
这是解析异常了。Unrecognized token 'lijie': was expecting ('true', 'false' or 'null')
 at [Source: (byte[])"lijie"; line: 1, column: 11]

11小时前
豆贝-宫 关注了 半兽人
12小时前
Fantastic A 回复 半兽人 springboot 监听 Kafka集群只配置一个监听端口 中:
嗯 将server.properties中的num.partitions数值调大,也就是调大默认创建主题的分区即可,谢谢@半兽人 啦
14小时前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
好的,麻烦您了,万分感谢
15小时前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
我现在有点忙,这种需求你是第一个额,活跃的消费者可以直接打印出来offset,稍后在帮你找,
15小时前
电杆GG 回复 半兽人 kafka connect 启动后,报错:Task is being killed and will not recover until manually restarted? 中:
配置:
1:
[root@localhost config]# cat connect-file-source.properties 

name=local-file-source
connector.class=FileStreamSource
tasks.max=1
file=/usr/local/kafka/data/test.txt
topic=test
2:
[root@localhost config]# cat connect-file-sink.properties 
name=local-file-sink
connector.class=FileStreamSink
tasks.max=1
file=/usr/local/kafka/data/test.sink.txt
topics=test

3:
[root@localhost config]# cat connect-standalone.properties 
bootstrap.servers=192.168.16.129:19092,192.168.16.131:19092,192.168.16.132:19092
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=true
value.converter.schemas.enable=true
offset.storage.file.filename=/tmp/connect.offsets
# Flush much faster than normal, which is useful for testing/debugging
offset.flush.interval.ms=10000
# plugin.path=/usr/local/share/java,/usr/local/share/kafka/plugins,/opt/connectors,
#plugin.path=

4:运行
[root@localhost bin]# ./connect-standalone.sh ../config/connect-standalone.properties ../config/connect-file-source.properties ../config/connect-file-sink.properties
15小时前
半兽人 回复 电杆GG kafka connect 启动后,报错:Task is being killed and will not recover until manually restarted? 中:
你把schemas.enable = false试试。
还有,你的操作步骤也提供一下、
15小时前
半兽人 回复 Fantastic A springboot 监听 Kafka集群只配置一个监听端口 中:
调整默认分区数,在http://orchome.com/472中,找到offsets.topic.num.partitions
15小时前
Fantastic A 回复 半兽人 springboot 监听 Kafka集群只配置一个监听端口 中:
命令创建的my-replicated-topic主题使用的集群
[root@localhost kafka_2.11-1.1.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
 Topic: my-replicated-topic Partition: 0 Leader: 0 Replicas: 0,1,2 Isr: 0,1,2

springboot创建的qy-001-YxRoomTransactionFile主题使用的单节点
[root@localhost kafka_2.11-1.1.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic qy-001-YxRoomTransactionFile
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Topic:qy-001-YxRoomTransactionFile PartitionCount:1 ReplicationFactor:1 Configs:
 Topic: qy-001-YxRoomTransactionFile Partition: 0 Leader: 2 Replicas: 2 Isr: 2




16小时前
电杆GG 回复 半兽人 kafka connect 启动后,报错:Task is being killed and will not recover until manually restarted? 中:
[2018-09-19 14:16:16,596] ERROR WorkerSinkTask{id=local-file-sink-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:177)
org.apache.kafka.connect.errors.ConnectException: Tolerance exceeded in error handler
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:178)
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execute(RetryWithToleranceOperator.java:104)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.convertAndTransformRecord(WorkerSinkTask.java:510)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.convertMessages(WorkerSinkTask.java:490)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:321)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:225)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:193)
 at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:175)
 at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:219)
 at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
 at java.util.concurrent.FutureTask.run(FutureTask.java:266)
 at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
 at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
 at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.kafka.connect.errors.DataException: JsonConverter with schemas.enable requires "schema" and "payload" fields and may not contain additional fields. If you are trying to deserialize plain JSON data, set schemas.enable=false in your converter configuration.
 at org.apache.kafka.connect.json.JsonConverter.toConnectData(JsonConverter.java:338)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.lambda$convertAndTransformRecord$0(WorkerSinkTask.java:510)
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndRetry(RetryWithToleranceOperator.java:128)
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:162)
 ... 13 more
[2018-09-19 14:16:16,598] ERROR WorkerSinkTask{id=local-file-sink-0} Task is being killed and will not recover until manually restarted (org.apache.kafka.connect.runtime.WorkerTask:178)


还有这个
16小时前
电杆GG 回复 半兽人 kafka connect 启动后,报错:Task is being killed and will not recover until manually restarted? 中:
[2018-09-19 14:16:16,596] ERROR WorkerSinkTask{id=local-file-sink-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:177)
org.apache.kafka.connect.errors.ConnectException: Tolerance exceeded in error handler
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:178)
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execute(RetryWithToleranceOperator.java:104)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.convertAndTransformRecord(WorkerSinkTask.java:510)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.convertMessages(WorkerSinkTask.java:490)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:321)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:225)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:193)
 at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:175)
 at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:219)
 at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
 at java.util.concurrent.FutureTask.run(FutureTask.java:266)
 at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
 at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
 at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.kafka.connect.errors.DataException: JsonConverter with schemas.enable requires "schema" and "payload" fields and may not contain additional fields. If you are trying to deserialize plain JSON data, set schemas.enable=false in your converter configuration.
 at org.apache.kafka.connect.json.JsonConverter.toConnectData(JsonConverter.java:338)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.lambda$convertAndTransformRecord$0(WorkerSinkTask.java:510)
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndRetry(RetryWithToleranceOperator.java:128)
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:162)
 ... 13 more
[2018-09-19 14:16:16,598] ERROR WorkerSinkTask{id=local-file-sink-0} Task is being killed and will not recover until manually restarted (org.apache.kafka.connect.runtime.WorkerTask:178)


还有这个
16小时前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
是的,我现在在用这个方法adminClient.describeConsumerGroup(),但有时候总是调不到。
16小时前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
你的意思是想看某个消费者组已经消费到哪个位置了吗?
16小时前
半兽人 kafka connect 启动后,报错:Task is being killed and will not recover until manually restarted? 发表评论:
任务被强杀,并不会恢复,直到你手动重启。
只有这一个错误吗?你看看broker里的日志。
16小时前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
嗯嗯,刚看完API,了解了,那有没有相应的API,可以查询消费者提交的offset呢?
16小时前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
我给你发的这3个方法,属于查找定位offset,跟正常的消费者流程无关,只是通过这3种方法,来获取offset而已,你可以通过获取的offset重新消费你的消息。是2种流程。
16小时前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
还是说这个方法查询出来的offset值,也包括了曾经消费过后提交过的offset,
17小时前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 中:
您好,还是有些不解,再次麻烦,第一种方法返回的是分区也就是topic的存在的第一个消息的offset,如果按照正常的情况,消费者应该消费的下一个消息就应该是这个,提交的也就是这个消息的offset,是这个意思吗?如果是按照我的理解,那么如果中间的消息断掉了,消费者组提交的offset是不是就与这个offset之间有着很大的差值了?如果您有时间,可以帮解答一下吗。。。。
17小时前
半兽人 回复 zzz 在win10 x86位系统上装kafka 需要修改什么 中:
没额,32位的。
17小时前
半兽人 回复 Fantastic A springboot 监听 Kafka集群只配置一个监听端口 中:
先不用springboot,用生产和消费者命令来验证,是不是集群的。
17小时前
Fantastic A 回复 半兽人 springboot 监听 Kafka集群只配置一个监听端口 中:
是一个集群的,只是监听时的主题全部都变成了单节点了。
19小时前
发表了 ethereumj项目启动类加载步骤
昨天
发表了 运行 Ethereum-Harmony
昨天
发表了 kubernetes 浏览器访问kube-apiserver安全端口
2天前
发表了 kubernetes 部署 metrics-server 插件 修改
2天前
发表了 kubernetes 部署 heapster 插件 修改
2天前
发表了 kubernetes 验证集群功能 修改
2天前
发表了 kubernetes 部署 kube-proxy 组件 修改
2天前
发表了 kubernetes 部署 kubelet 组件 修改
2天前
发表了 kubernetes 部署 docker 组件 修改
2天前
发表了 kubernetes 部署高可用 kube-scheduler 集群 修改
2天前
发表了 kubernetes 部署高可用 kube-controller-manager 集群 修改
2天前
发表了 kubernetes 部署 kube-apiserver 组件
2天前
发表了 kubernetes haproxy部署 修改
2天前
发表了 kubernetes 组件版本和配置策略 修改
2天前
发表了 angularjs之controller的用法
3天前
发表了 css3-Media Query根据设备调整css
4天前
发表了 byte为什么要&0xff?- java
5天前
发表了 java十进制二进制互转
5天前
发表了 在java中,int类型为什么占四个字节?
6天前
发表了 java运算符 与(&)、非(~)、或(|)、异或(^)
6天前
半兽人 赞了 kafka入门介绍
6天前
sunshine 关注了 半兽人
6天前
半兽人 赞了 kafka入门介绍
7天前
半兽人 收藏了 kafka 主题!
7天前
清风如水 关注了 半兽人
7天前
半兽人 赞了 进程和线程之由来 - java
8天前
半兽人 赞了 进程和线程之由来 - java
8天前
半兽人 赞了 我是一个线程
8天前
风中之神 关注了 半兽人
19天前
amF5YjamylsbA 关注了 半兽人
21天前
恋茶慕雨 关注了 半兽人
26天前
半兽人 赞了 kafka客户端 - java
1月前
勇闯天涯 关注了 半兽人
2月前
图图 关注了 半兽人
2月前
無名 关注了 半兽人
2月前
宁静致远 关注了 半兽人
2月前
千鹤·重弹 关注了 半兽人
2月前
Dreamcatcher 关注了 半兽人
2月前
半兽人 赞了 kafka生产者API
4月前
关注了 半兽人
5月前
半兽人 赞了 Scala伴生对象
1年前
半兽人 赞了 进程和线程之由来 - java
1年前
半兽人 赞了 kafka副本和leader选举
1年前
半兽人 赞了 发行说明 - Kafka - 0.10.2.0版本
1年前
半兽人 赞了 发行说明 - Kafka - 0.10.2.0版本
1年前
半兽人 赞了 发布说明 - Kafka - 0.11.0.0版本
1年前
半兽人 赞了 kafka生产者客户端(0.10.1.1API)
1年前
半兽人 赞了 我是一个线程
1年前
半兽人 赞了 kafka设计动机
1年前
半兽人 赞了 kafka生产服务器配置
1年前
半兽人 收藏了 ask 主题!
1年前
半兽人 赞了 kafka网络层
1年前
半兽人 赞了 我是一个线程
1年前
半兽人 赞了 RabbitMQ和kafka从几个角度简单的对比
1年前
半兽人 收藏了 linux 主题!
1年前

半兽人 回复 电杆GG kafka connect 启动后,报错:Task is being killed and will not recover until manually restarted? 评论:
这是解析异常了。Unrecognized token 'lijie': was expecting ('true', 'false' or 'null')
 at [Source: (byte[])"lijie"; line: 1, column: 11]

11小时前
Fantastic A 回复 半兽人 springboot 监听 Kafka集群只配置一个监听端口 评论:
嗯 将server.properties中的num.partitions数值调大,也就是调大默认创建主题的分区即可,谢谢@半兽人 啦
14小时前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
好的,麻烦您了,万分感谢
15小时前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
我现在有点忙,这种需求你是第一个额,活跃的消费者可以直接打印出来offset,稍后在帮你找,
15小时前
电杆GG 回复 半兽人 kafka connect 启动后,报错:Task is being killed and will not recover until manually restarted? 评论:
配置:
1:
[root@localhost config]# cat connect-file-source.properties 

name=local-file-source
connector.class=FileStreamSource
tasks.max=1
file=/usr/local/kafka/data/test.txt
topic=test
2:
[root@localhost config]# cat connect-file-sink.properties 
name=local-file-sink
connector.class=FileStreamSink
tasks.max=1
file=/usr/local/kafka/data/test.sink.txt
topics=test

3:
[root@localhost config]# cat connect-standalone.properties 
bootstrap.servers=192.168.16.129:19092,192.168.16.131:19092,192.168.16.132:19092
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=true
value.converter.schemas.enable=true
offset.storage.file.filename=/tmp/connect.offsets
# Flush much faster than normal, which is useful for testing/debugging
offset.flush.interval.ms=10000
# plugin.path=/usr/local/share/java,/usr/local/share/kafka/plugins,/opt/connectors,
#plugin.path=

4:运行
[root@localhost bin]# ./connect-standalone.sh ../config/connect-standalone.properties ../config/connect-file-source.properties ../config/connect-file-sink.properties
15小时前
半兽人 回复 电杆GG kafka connect 启动后,报错:Task is being killed and will not recover until manually restarted? 评论:
你把schemas.enable = false试试。
还有,你的操作步骤也提供一下、
15小时前
半兽人 回复 Fantastic A springboot 监听 Kafka集群只配置一个监听端口 评论:
调整默认分区数,在http://orchome.com/472中,找到offsets.topic.num.partitions
15小时前
Fantastic A 回复 半兽人 springboot 监听 Kafka集群只配置一个监听端口 评论:
命令创建的my-replicated-topic主题使用的集群
[root@localhost kafka_2.11-1.1.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
 Topic: my-replicated-topic Partition: 0 Leader: 0 Replicas: 0,1,2 Isr: 0,1,2

springboot创建的qy-001-YxRoomTransactionFile主题使用的单节点
[root@localhost kafka_2.11-1.1.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic qy-001-YxRoomTransactionFile
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Topic:qy-001-YxRoomTransactionFile PartitionCount:1 ReplicationFactor:1 Configs:
 Topic: qy-001-YxRoomTransactionFile Partition: 0 Leader: 2 Replicas: 2 Isr: 2




16小时前
电杆GG 回复 半兽人 kafka connect 启动后,报错:Task is being killed and will not recover until manually restarted? 评论:
[2018-09-19 14:16:16,596] ERROR WorkerSinkTask{id=local-file-sink-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:177)
org.apache.kafka.connect.errors.ConnectException: Tolerance exceeded in error handler
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:178)
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execute(RetryWithToleranceOperator.java:104)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.convertAndTransformRecord(WorkerSinkTask.java:510)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.convertMessages(WorkerSinkTask.java:490)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:321)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:225)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:193)
 at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:175)
 at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:219)
 at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
 at java.util.concurrent.FutureTask.run(FutureTask.java:266)
 at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
 at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
 at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.kafka.connect.errors.DataException: JsonConverter with schemas.enable requires "schema" and "payload" fields and may not contain additional fields. If you are trying to deserialize plain JSON data, set schemas.enable=false in your converter configuration.
 at org.apache.kafka.connect.json.JsonConverter.toConnectData(JsonConverter.java:338)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.lambda$convertAndTransformRecord$0(WorkerSinkTask.java:510)
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndRetry(RetryWithToleranceOperator.java:128)
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:162)
 ... 13 more
[2018-09-19 14:16:16,598] ERROR WorkerSinkTask{id=local-file-sink-0} Task is being killed and will not recover until manually restarted (org.apache.kafka.connect.runtime.WorkerTask:178)


还有这个
16小时前
电杆GG 回复 半兽人 kafka connect 启动后,报错:Task is being killed and will not recover until manually restarted? 评论:
[2018-09-19 14:16:16,596] ERROR WorkerSinkTask{id=local-file-sink-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:177)
org.apache.kafka.connect.errors.ConnectException: Tolerance exceeded in error handler
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:178)
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execute(RetryWithToleranceOperator.java:104)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.convertAndTransformRecord(WorkerSinkTask.java:510)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.convertMessages(WorkerSinkTask.java:490)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:321)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:225)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:193)
 at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:175)
 at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:219)
 at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
 at java.util.concurrent.FutureTask.run(FutureTask.java:266)
 at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
 at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
 at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.kafka.connect.errors.DataException: JsonConverter with schemas.enable requires "schema" and "payload" fields and may not contain additional fields. If you are trying to deserialize plain JSON data, set schemas.enable=false in your converter configuration.
 at org.apache.kafka.connect.json.JsonConverter.toConnectData(JsonConverter.java:338)
 at org.apache.kafka.connect.runtime.WorkerSinkTask.lambda$convertAndTransformRecord$0(WorkerSinkTask.java:510)
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndRetry(RetryWithToleranceOperator.java:128)
 at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:162)
 ... 13 more
[2018-09-19 14:16:16,598] ERROR WorkerSinkTask{id=local-file-sink-0} Task is being killed and will not recover until manually restarted (org.apache.kafka.connect.runtime.WorkerTask:178)


还有这个
16小时前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
是的,我现在在用这个方法adminClient.describeConsumerGroup(),但有时候总是调不到。
16小时前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
你的意思是想看某个消费者组已经消费到哪个位置了吗?
16小时前
半兽人 kafka connect 启动后,报错:Task is being killed and will not recover until manually restarted? 发表评论:
任务被强杀,并不会恢复,直到你手动重启。
只有这一个错误吗?你看看broker里的日志。
16小时前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
嗯嗯,刚看完API,了解了,那有没有相应的API,可以查询消费者提交的offset呢?
16小时前
半兽人 回复 烟花易冷 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
我给你发的这3个方法,属于查找定位offset,跟正常的消费者流程无关,只是通过这3种方法,来获取offset而已,你可以通过获取的offset重新消费你的消息。是2种流程。
16小时前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
还是说这个方法查询出来的offset值,也包括了曾经消费过后提交过的offset,
17小时前
烟花易冷 回复 半兽人 我想查询kafka0.10版本的所有消费者组,网上没有查到用java api的方法,有没有Java API能够查询kafka0.10.版本的所有消费者组的方法? 评论:
您好,还是有些不解,再次麻烦,第一种方法返回的是分区也就是topic的存在的第一个消息的offset,如果按照正常的情况,消费者应该消费的下一个消息就应该是这个,提交的也就是这个消息的offset,是这个意思吗?如果是按照我的理解,那么如果中间的消息断掉了,消费者组提交的offset是不是就与这个offset之间有着很大的差值了?如果您有时间,可以帮解答一下吗。。。。
17小时前
半兽人 回复 zzz 在win10 x86位系统上装kafka 需要修改什么 评论:
没额,32位的。
17小时前
半兽人 回复 Fantastic A springboot 监听 Kafka集群只配置一个监听端口 评论:
先不用springboot,用生产和消费者命令来验证,是不是集群的。
17小时前
Fantastic A 回复 半兽人 springboot 监听 Kafka集群只配置一个监听端口 评论:
是一个集群的,只是监听时的主题全部都变成了单节点了。
19小时前

半兽人 发表了 ethereumj项目启动类加载步骤
昨天
半兽人 发表了 运行 Ethereum-Harmony
昨天
半兽人 发表了 kubernetes 浏览器访问kube-apiserver安全端口
2天前
半兽人 发表了 kubernetes 部署 metrics-server 插件
2天前
半兽人 发表了 kubernetes 部署 heapster 插件
2天前
半兽人 发表了 kubernetes 验证集群功能
2天前
半兽人 发表了 kubernetes 部署 kube-proxy 组件
2天前
半兽人 发表了 kubernetes 部署 kubelet 组件
2天前
半兽人 发表了 kubernetes 部署 docker 组件
2天前
半兽人 发表了 kubernetes 部署高可用 kube-scheduler 集群
2天前
半兽人 发表了 kubernetes 部署高可用 kube-controller-manager 集群
2天前
半兽人 发表了 kubernetes 部署 kube-apiserver 组件
2天前
半兽人 发表了 kubernetes haproxy部署
2天前
半兽人 发表了 kubernetes 组件版本和配置策略
2天前
半兽人 发表了 angularjs之controller的用法
3天前
半兽人 发表了 css3-Media Query根据设备调整css
4天前
半兽人 发表了 byte为什么要&0xff?- java
5天前
半兽人 发表了 java十进制二进制互转
5天前
半兽人 发表了 在java中,int类型为什么占四个字节?
6天前
半兽人 发表了 java运算符 与(&)、非(~)、或(|)、异或(^)
6天前

半兽人 收藏了 linux 主题!
1年前
半兽人 收藏了 ask 主题!
1年前
半兽人 收藏了 kafka 主题!
7天前