kafka 消费者异常:Error reading field 'brokers': Error reading array of size 65535,

_阿呆 发表于: 2018-11-23   最后更新时间: 2018-11-23 14:34:35   4,433 游览

已经确认server端和客户端版本都是0.11.0.1

消费者端报错如下:

org.apache.kafka.common.protocol.types.SchemaException: Error reading field 'brokers': Error reading array of size 65535, only 22 bytes available
    at org.apache.kafka.common.protocol.types.Schema.read(Schema.java:75)
    at org.apache.kafka.common.protocol.ApiKeys.parseResponse(ApiKeys.java:153)
    at org.apache.kafka.clients.NetworkClient.parseStructMaybeUpdateThrottleTimeMetrics(NetworkClient.java:560)
    at org.apache.kafka.clients.NetworkClient.handleCompletedReceives(NetworkClient.java:657)
    at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:442)
    at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll(ConsumerNetworkClient.java:232)
    at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll(ConsumerNetworkClient.java:208)
    at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll(ConsumerNetworkClient.java:184)
    at org.apache.kafka.clients.consumer.internals.AbstractCoordinator.ensureCoordinatorReady(AbstractCoordinator.java:217)
    at org.apache.kafka.clients.consumer.internals.AbstractCoordinator.ensureCoordinatorReady(AbstractCoordinator.java:203)
    at org.apache.kafka.clients.consumer.internals.ConsumerCoordinator.poll(ConsumerCoordinator.java:286)
    at org.apache.kafka.clients.consumer.KafkaConsumer.pollOnce(KafkaConsumer.java:1078)
    at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1043)
    at com.zte.ums.zenap.cometd.ReceiveKafkaMessage.run(ReceiveKafkaMessage.java:40)

求大神分析什么原因?

发表于 2018-11-23
添加评论

这个问题都是客户端版本高于服务端版本....目前没出现其他引发的情况。
我建议你还是从这个维度查询。确认下集成到其他环境有覆盖的情况。

_阿呆 -> 半兽人 6年前

大虾, 异常发生时我查看消费者日志和server日志并且确认了客户端和服务端版本一致,均为0.11.0.1,所以应该不是版本不一致导致的。
对了,问题发生是,server端因为Full GC 时间过长,那段时间内server是不可用的,不知道会不会导致这个问题。

你的答案

查看kafka相关的其他问题或提一个您自己的问题