ApacheKafka-重置分区的最后一个查看的时代。为什么？ _编程开发

ApacheKafka-重置分区的最后一个查看的时代。为什么？

创始人

2024-09-06 03:30:35

0次

当一个消费者在Kafka中启动时，它会请求所有分区的最后一个查看时代来开始读取消息。最后的查看时代是消费者组维护的最后一个成功处理消息的偏移量。如果有问题导致消费者无法成功处理消息，例如异常或代码错误，消费者不会更新它的最后一次查看时代。因此，当消费者重新启动时，它会尝试从同样的偏移量开始，但是由于这些消息已经被消费接下来的消息将被忽略。这种情况通常称为“死区”。

解决这个问题的方法是复位最后一次查看时代。这将强制消费者检查所有消息并从适当的偏移量开始处理。要实现这个解决方案，首先需要查找消费者组id，使用以下代码查询消费者组id：

/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

假设消费者组id为"my-consumer-group"，使用以下命令复位分区为0和1的最后查看时代：

/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group my-consumer-group --reset-offsets --topic my-topic --execute --to-earliest --partition 0 --partition 1

重置分区后，消费者将从最早的消息偏移量开始重新消费消息。

注意：复位最后查看时代时，请确保所有消费者都处于停止状态，以避免消息丢失。

上一篇：ApacheKafka(v3)-KTable像KStream一样操作？

下一篇：ApacheKafka3.2/Confluentplatform7.2在Java17下运行时无法看到类路径中的类。

ApacheKafka-重置分区的最后一个查看的时代。为什么？

相关内容

热门资讯