这不科学吧,kafka最为中间层,上层与下层是解耦关系,积累再多消息也无关。你多关注下sparkstreaming获取的数据是不是有问题。
我这边用的是confluent到kafka,转换类为Avro。如果confluent与sparkstreaming同时启动不报错,但是kafka里面数据多,再启动sparkstreaming就会出现上述错误。
你自定义解析的话,把错误日志打出来,肯定是你的消息格式不对呀。导致解析失败。
我是用了kafkaAeroDeserilizer解析,也还是出错。不知道您说的自己指定是什么意思?