Python 两个常用客户端
Python 生态里常用两个 Kafka 客户端：kafka-python 是纯 Python 实现，安装简单、API 直观，适合中小吞吐与脚本类任务；confluent-kafka 封装了 librdkafka（C 实现），性能更接近官方客户端，配置项也更完整，适合生产链路与高吞吐场景。选型不只看性能，还要看维护活跃度以及是否覆盖你需要的特性，例如事务与精确一次语义。
基本信息
| kafka-python | 纯 Python 实现，API 简单，适合中小吞吐与脚本 |
|---|---|
| confluent-kafka | 基于 librdkafka，性能好、配置面广 |
| 选型建议 | 生产链路先核对客户端与 broker 的版本兼容矩阵 |
| 提交策略 | 脚本里设 enable_auto_commit=False，处理成功后再手动提交 |
典型使用场景
- 数据同步脚本：定时读写中小规模数据，kafka-python 足够
- 高吞吐消费：confluent-kafka 配合批量处理与手动提交位移
- 本地调试：纯 Python 实现无原生依赖，搭环境快
- 混合管道：Python 端只做轻量接力时，选实现更简单的客户端
- 需要事务或精确一次：先确认客户端是否支持再决定方案
kafka-python 示例
kafka-python 示例
from kafka import KafkaProducer, KafkaConsumer
producer = KafkaProducer(bootstrap_servers='kafka1:9092', acks='all') # 可靠写入用 acks=all
producer.send('orders', key=b'o-1001', value=b'{"amount": 9.9}') # key 决定分区，保证同单有序
producer.flush() # 退出前务必 flush
consumer = KafkaConsumer('orders',
bootstrap_servers='kafka1:9092',
group_id='order-consumer',
enable_auto_commit=False, # 处理成功后再提交，避免丢数据
auto_offset_reset='earliest') # 无位移时从最早开始
for msg in consumer:
print(msg.partition, msg.offset, msg.value)
consumer.commit() # 每处理完一条提交一次位移选型对照
| 维度 | kafka-python | confluent-kafka |
|---|---|---|
| 实现方式 | 纯 Python，无原生依赖 | 封装 librdkafka（C 实现） |
| 性能 | 中小吞吐够用，高并发下 CPU 占用高 | 吞吐与延迟更接近官方客户端 |
| 配置覆盖 | 基础配置完善，高阶特性较少 | 配置面广，支持更多特性 |
| 部署 | pip 安装即可 | 需匹配平台的二进制轮子 |
高吞吐场景优先评估 confluent-kafka；纯 Python 客户端在分区数量多、并发高的情况下 CPU 占用明显更高，性能瓶颈往往出在客户端本身而不是集群。
用 print 调试消息内容时注意日志系统可能记录敏感字段，输出前先脱敏；脚本类任务最容易在生产日志里留下明文手机号、身份证或金额明细。