三种投递语义是什么

投递语义描述的是「故障发生时，数据会不会丢、会不会重」。至多一次（at-most-once）先记录位点后处理，进程崩溃时消息不再重放，可能丢；至少一次（at-least-once）先处理成功再记位点，崩溃后从旧位点重放，可能重；精确一次（exactly-once）要求端到端不丢不重，通常靠事务提交或幂等写入实现。

端到端为什么最难

引擎内部做到不丢不重相对容易，难的是把保证延伸到外部系统。例如「Kafka 里的事务 + MySQL 里的一次 insert」跨了两个系统，中间没有共同的事务协调者，只能靠幂等键、事务表或分布式事务补偿来收敛。

基本信息

三种语义对照

典型使用场景

• 页面埋点、监控采样：少量丢失可接受，用至多一次换吞吐与简单
• 数仓 ODS 落地：至多一次会丢数据，必须选至少一次并保证下游可去重
• 账务、计费、库存扣减：重复入账后果严重，要么精确一次，要么业务层用幂等键兜住
• 指标类流任务：位点回退会造成重复累加，用主键 upsert 收敛到精确一次效果
• 审计与对账链路：宁可重复也不可丢，并在对账环节暴露重复

Kafka 消费侧相关配置

isolation.level=read_committed      # 只读已提交的事务消息，读未提交会看到被回滚的数据
enable.auto.commit=false            # 关掉自动提交，改为处理成功后手动提交
max.poll.records=500                # 控制单次 poll 量，缩短处理时间、降低再均衡风险

至少一次 + 幂等落库的组合

-- 重复消费同一条事件时结果不变，等于把语义收敛到“不丢不重”
INSERT INTO dwd_order (order_id, amount, updated_at)
VALUES (%s, %s, %s)
ON DUPLICATE KEY UPDATE amount = VALUES(amount), updated_at = VALUES(updated_at);