org.apache.kafka.common.errors.NotLeaderForPartit ionException: This server is not the leader for that topic-partition?

ighack 发表于: 2018-08-07   最后更新时间: 2018-08-07  
  •   0 订阅,103 游览

kafka生产端发送的时候会报org.apache.kafka.common.errors.NotLeaderForPartit
ionException: This server is not the leader for that topic-partition.

server.log.2018-08-07-07日志里也有很多这个错误,网上主要是说由于切换partion的问题把生产端的retries改大一点。我现在的参数已经是3了。难到要改到7吗

我手动重发一下是可以成功的。这个地方还有别的需要改的吗?







发表于: 12天前   最后更新时间: 12天前   游览量:103
上一条: 到头了!
下一条: 已经是最后了!

评论…


  • 你是第一次发送的时候报这个错?
    • 是的。我们是调用一个服务,由这个服务往kafka里写数据。报错了以后。我们查了日志。有很多这个信息。一般都是差不一个时间点的。如果重新调用一下服务就好了。我们昨天重启了kafka现在没有这个错误日志了。不知道是怎么回事
        • cat server.log.2018-08-07-14 | grep ERROR
          [2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [JLP_TO_LMIS_SHANGH,8] to broker 4:org.apache.kafka.common.errors.NotLeaderForPar
          titionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)[2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [__consumer_offsets,8] to broker 4:org.apache.kafka.common.errors.NotLeaderForPar
          titionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)[2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [__consumer_offsets,28] to broker 4:org.apache.kafka.common.errors.NotLeaderForPa
          rtitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)[2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [__consumer_offsets,48] to broker 4:org.apache.kafka.common.errors.NotLeaderForPa
          rtitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)[2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [JLP_TO_LMIS_GD,3] to broker 4:org.apache.kafka.common.errors.NotLeaderForPartiti
          onException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)[2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [Parallel_Computing_Bill_CS,5] to broker 4:org.apache.kafka.common.errors.NotLead
          erForPartitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)
            • [2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [JLP_TO_LMIS_SIC,9] to broker 4:org.apache.kafka.common.errors.NotLeaderForPartit
              ionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)[2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [mdb_Fd_Route_HEN,2] to broker 4:org.apache.kafka.common.errors.NotLeaderForParti
              tionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)[2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [Parallel_Computing_FD,0] to broker 4:org.apache.kafka.common.errors.NotLeaderFor
              PartitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)[2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [Interface,0] to broker 4:org.apache.kafka.common.errors.NotLeaderForPartitionExc
              eption: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)[2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [TMP_TO_LMIS_HUB,2] to broker 4:org.apache.kafka.common.errors.NotLeaderForPartit
              ionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)[2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [JLP_TO_LMIS_BEIJ,3] to broker 4:org.apache.kafka.common.errors.NotLeaderForParti
              tionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)[2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [Parallel_Computing_Bill,3] to broker 4:org.apache.kafka.common.errors.NotLeaderF
              orPartitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)[2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [mdb_Fd_Route_GZ,7] to broker 4:org.apache.kafka.common.errors.NotLeaderForPartit
              ionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)[2018-08-07 14:19:06,271] ERROR [ReplicaFetcherThread-0-4], Error for partition [JLP_TO_LMIS_CHONGQ,3] to broker 4:org.apache.kafka.common.errors.NotLeaderForPar
              titionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)
                • 第一次是主题创建报的这个错,可以忽视,如果丢消息,是说明你使用的是非阻塞发送。如果消费者优于生产者先启动,就都解决了
                    • 我这个是在使用好一段时间之后出现的。生产者是一个服务。kafka一直在运行。直到前两发现问题不知道怎么解决才重启的
                        • cat state-change.log.2018-08-07-12 | grep ERROR
                          [2018-08-07 12:34:18,652] ERROR Broker 0 received LeaderAndIsrRequest with correlation id 1 from controller 2 epoch 49 for partition mdb_Fd_Consignor-0 but canno
                          t become follower since the new leader -1 is unavailable. (state.change.logger)[2018-08-07 12:34:18,652] ERROR Broker 0 received LeaderAndIsrRequest with correlation id 1 from controller 2 epoch 49 for partition mdb_Fd_Log_Cons-0 but cannot
                           become follower since the new leader -1 is unavailable. (state.change.logger)[2018-08-07 12:34:18,652] ERROR Broker 0 received LeaderAndIsrRequest with correlation id 1 from controller 2 epoch 49 for partition mdb_Fd_Carrier-2 but cannot 
                          become follower since the new leader -1 is unavailable. (state.change.logger)[2018-08-07 12:34:18,653] ERROR Broker 0 received LeaderAndIsrRequest with correlation id 1 from controller 2 epoch 49 for partition mdb_Fd_Region-1 but cannot b
                          ecome follower since the new leader -1 is unavailable. (state.change.logger)[2018-08-07 12:34:18,653] ERROR Broker 0 received LeaderAndIsrRequest with correlation id 1 from controller 2 epoch 49 for partition mdb_Fd_Goods_Image-2 but can
                          not become follower since the new leader -1 is unavailable. (state.change.logger)[2018-08-07 12:34:18,653] ERROR Broker 0 received LeaderAndIsrRequest with correlation id 1 from controller 2 epoch 49 for partition mdb_Fd_Goods-0 but cannot be
                          come follower since the new leader -1 is unavailable. (state.change.logger)[2018-08-07 12:34:18,653] ERROR Broker 0 received LeaderAndIsrRequest with correlation id 1 from controller 2 epoch 49 for partition mdb_Fd_SupplySalesagency-2 b
                          ut cannot become follower since the new leader -1 is unavailable. (state.change.logger)[2018-08-07 12:34:18,653] ERROR Broker 0 received LeaderAndIsrRequest with correlation id 1 from controller 2 epoch 49 for partition mdb_Fd_Operator-2 but cannot
                           become follower since the new leader -1 is unavailable. (state.change.logger)[2018-08-07 12:34:18,653] ERROR Broker 0 received LeaderAndIsrRequest with correlation id 1 from controller 2 epoch 49 for partition mdb_Fd_Ssa_Bank-1 but cannot
                           become follower since the new leader -1 is unavailable. (state.change.logger)[2018-08-07 12:34:18,653] ERROR Broker 0 received LeaderAndIsrRequest with correlation id 1 from controller 2 epoch 49 for partition mdb_Fd_Ssa_Addr-2 but cannot
                           become follower since the new leader -1 is unavailable. (state.change.logger)[2018-08-07 12:34:18,654] ERROR Broker 0 received LeaderAndIsrRequest with correlation id 1 from controller 2 epoch 49 for partition mdb_Fd_Con_License-1 but can
                          not become follower since the new leader -1 is unavailable. (state.change.logger)[2018-08-07 12:34:18,654] ERROR Broker 0 received LeaderAndIsrRequest with correlation id 1 from controller 2 epoch 49 for partition mdb_Fd_Vehicle-0 but cannot 
                          become follower since the new leader -1 is unavailable. (state.change.logger)
                            • 由于我重启了,所以现在的输出不知道还有用吗?
                              Topic:JLP_TO_LMIS_GD PartitionCount:10 ReplicationFactor:3 Configs:
                               Topic: JLP_TO_LMIS_GD Partition: 0 Leader: 0 Replicas: 0,1,2 Isr: 0,1,2
                               Topic: JLP_TO_LMIS_GD Partition: 1 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3
                               Topic: JLP_TO_LMIS_GD Partition: 2 Leader: 2 Replicas: 2,3,4 Isr: 2,3,4
                               Topic: JLP_TO_LMIS_GD Partition: 3 Leader: 3 Replicas: 3,4,0 Isr: 0,3,4
                               Topic: JLP_TO_LMIS_GD Partition: 4 Leader: 4 Replicas: 4,0,1 Isr: 0,1,4
                               Topic: JLP_TO_LMIS_GD Partition: 5 Leader: 0 Replicas: 0,2,3 Isr: 0,2,3
                               Topic: JLP_TO_LMIS_GD Partition: 6 Leader: 1 Replicas: 1,3,4 Isr: 1,3,4
                               Topic: JLP_TO_LMIS_GD Partition: 7 Leader: 2 Replicas: 2,4,0 Isr: 0,2,4
                               Topic: JLP_TO_LMIS_GD Partition: 8 Leader: 3 Replicas: 3,0,1 Isr: 0,1,3
                               Topic: JLP_TO_LMIS_GD Partition: 9 Leader: 4 Replicas: 4,1,2 Isr: 1,2,4
                              Topic:Parallel_Computing_Bill PartitionCount:10 ReplicationFactor:3 Configs:
                               Topic: Parallel_Computing_Bill Partition: 0 Leader: 0 Replicas: 0,1,2 Isr: 0,1,2
                               Topic: Parallel_Computing_Bill Partition: 1 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3
                               Topic: Parallel_Computing_Bill Partition: 2 Leader: 2 Replicas: 2,3,4 Isr: 2,3,4
                               Topic: Parallel_Computing_Bill Partition: 3 Leader: 3 Replicas: 3,4,0 Isr: 0,3,4
                               Topic: Parallel_Computing_Bill Partition: 4 Leader: 4 Replicas: 4,0,1 Isr: 0,1,4
                               Topic: Parallel_Computing_Bill Partition: 5 Leader: 0 Replicas: 0,2,3 Isr: 0,2,3
                               Topic: Parallel_Computing_Bill Partition: 6 Leader: 1 Replicas: 1,3,4 Isr: 1,3,4
                               Topic: Parallel_Computing_Bill Partition: 7 Leader: 2 Replicas: 2,4,0 Isr: 0,2,4
                               Topic: Parallel_Computing_Bill Partition: 8 Leader: 3 Replicas: 3,0,1 Isr: 0,1,3
                               Topic: Parallel_Computing_Bill Partition: 9 Leader: 4 Replicas: 4,1,2 Isr: 1,2,4
                              • 评论…
                                • in this conversation
                                  提问