Spark提交kafka的消费者
3个分区的topic，消息不断进入
p0和p2挤压几百数据，p1挤压10000多，导致一直卡在消费p1
我应该怎么解决，谢谢
## 显示某个消费组的消费详情（0.10.1.0版本+） bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
每个分区对应的消费者的情况看一下，另外，每个分区入的消息和lag之间差。（比如每秒每个分区都消费掉2000）只是有一个消费者积压了10000条，但是仅仅是应该有持续的消息进来，导致一直无法消费完。
我还在找问题,现在一启动就莫名期末的给重置offset到最后,我一会儿发个截图
Fetch offset 18441 is out of range for partition bp_yt_update_topic-0, resetting offsetResetting offset for partition bp_yt_update_topic-0 to offset 18481.我现在一共有18481条数据,offset在18441,但我一启动就自动给我重置了,之前一直好好的不知道这是什么问题
一启动就重置到18481这里,相当于丢了40条数据
如果offset就在18441，那客户端auto.offset.reset配置的是latest，取的即是1841（不会跳过最新的）。消息丢失是如何确认的？一启动是否消息已经取走了，而不是跳过了。
auto.offset.reset
latest
我确认过,消费的消息没有通过log打印出来,应该是跳过了
就如我上面所说，除非group组换了新的，才会从最新的开始消费，另外就是offset手动设置为最新的位置。否则消费者都将会从上次保留的offset位置开始消费，不会跳过的。
很神奇,什么都没改,今天自动恢复正常了
找不到想要的答案？提一个您自己的问题。
0 声望
这家伙太懒，什么都没留下
## 显示某个消费组的消费详情（0.10.1.0版本+） bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group每个分区对应的消费者的情况看一下，另外，每个分区入的消息和lag之间差。（比如每秒每个分区都消费掉2000）只是有一个消费者积压了10000条，但是仅仅是应该有持续的消息进来，导致一直无法消费完。
我还在找问题,现在一启动就莫名期末的给重置offset到最后,我一会儿发个截图
Fetch offset 18441 is out of range for partition bp_yt_update_topic-0, resetting offset
Resetting offset for partition bp_yt_update_topic-0 to offset 18481.
我现在一共有18481条数据,offset在18441,但我一启动就自动给我重置了,之前一直好好的
不知道这是什么问题
一启动就重置到18481这里,相当于丢了40条数据
如果offset就在18441，那客户端
auto.offset.reset配置的是latest，取的即是1841（不会跳过最新的）。消息丢失是如何确认的？一启动是否消息已经取走了，而不是跳过了。
我确认过,消费的消息没有通过log打印出来,应该是跳过了
就如我上面所说，除非group组换了新的，才会从最新的开始消费，另外就是offset手动设置为最新的位置。
否则消费者都将会从上次保留的offset位置开始消费，不会跳过的。
很神奇,什么都没改,今天自动恢复正常了
你的答案