一文读懂kafka的幂等生产者

发布时间：2025-11-05 11:53:13 来源：云智核 作者：应用开发

本文转载自微信公众号「明哥的文读IT随笔」，作者 IT明哥 。懂k的幂等生转载本文请联系明哥的文读IT随笔公众号。

1 前言

大家好，懂k的幂等生我是文读明哥!

KAFKA 作为开源分布式事件流平台，在大数据和微服务领域都有着广泛的懂k的幂等生应用场景，是文读实时流处理场景下消息队列事实上的标准。用一句话概括，懂k的幂等生KAFKA 是文读实时数仓的基石，是懂k的幂等生事件驱动架构的灵魂。

但是文读一些技术小伙伴，尤其是懂k的幂等生一些很早就开始使用 KAFKA 的技术小伙伴们，对 KAFKA 的文读发展趋势和一些新特性，并不太熟悉，高防服务器懂k的幂等生在使用过程中也踩了不少坑。文读

有鉴于此，我们接下来会有一个 KAFKA 系列文章，专门讲述 KAFKA 的这些新特性。

本文是该系列文章之一，讲述 KAFAK 的幂等生产者。

以下是正文。

2 从历史视角看 KAFKA 的发展

首先我们从历史视角，看下 KAFKA 的发展：

kafka-timeline

kafka-api

3 什么是幂等生产者?

我们知道，当 kafka producer 向 broker 中的 topic发送数据时，可能会因为网络抖动等各种原因，造成 producer 收不到 broker 的 ack 确认信息。此时 producer 有两种选择：

producer 可以选择忽略没有收到 ack 确认消息，不做任何进一步处理：此时有可能会丢失消息。(之所以说有可能，是因为消息有可能没有写到 broker 的topic 中，但也有可能已经正确地写到了 broker 的 topic 中，只是回调的 ack 消息因网络抖动 producer 没有收到;)

producer 也可以选择多次尝试重发消息，直到收到ack 确认消息或重试最大次数到达: 此时有可能会造成消息的重复写，即 broker 端的 topic 中，重复地存储了重试发送的这些消息;

producer 重发没有收到 ack 确认的b2b供应网消息, 也可能会造成 broker 端 topic 的 partition 中 消息的顺序混乱，即因失败重发的消息在部分没有失败不需要重发的消息之后。

因 producer 重发没有收到 ack 确认的消息造成数据重复的问题，可以参见如下示意图，图中 message 7/8/9/10 即为重复的消息。

producer-resend-failure

KAFKA 的幂等生产者即 idempotent producer，就是解决上述问题的：它可以确保消息被正确地投递到 broker端，不会丢失没有重复，而且是以正确的顺序存储在 topic 的各个 partition 中。

4 如何启用幂等生产者?

5 幂等生产者的原理是什么?

首先需要说明下，在启用幂等生产者的情况下，消息失败时的重新发送，是由 kafka client 自动实现的，对我们来讲是透明的，我们不需要在代码中重试发送。(事实上，在代码中重试消息发送，反而会引起消息重复).

其内部工作原理如下：

6 幂等生产者与事务有何关系?

幂等生产者是 kafka 事务的必要不充分条件，即：

开启幂等生长者，不一定需要开启事务;

开始 kafka 事务，必须要开启幂等生产者;

事实上，开启 kafka事务时，kafka 会自动开启幂等生产者。

相关文章