首页/数据/数据工程与 ETL 速查/生产端压测 kafka-producer-perf-test.sh
Kafka64 条

生产端压测 kafka-producer-perf-test.sh

生产端压测用于评估单分区/集群写入能力与客户端配置影响:输出吞吐与延迟分位,是容量规划与参数调优的依据。

关键参数--num-records、--record-size、--throughput、--producer-props
输出records/sec、MB/sec、平均与各分位延迟
建议在专用主题上压测,配置与生产保持一致

压测示例

压测示例
kafka-producer-perf-test.sh --topic perf-orders \
  --num-records 1000000 --record-size 512 --throughput -1 \
  --producer-props bootstrap.servers=kafka1:9092 acks=all compression.type=lz4
压测会真实写数据并占用磁盘与带宽,选低峰执行并控制记录数,测完删除测试主题。

易错点

  • --throughput -1 表示不限速,容易瞬间打满磁盘与网络,先小步验证
  • 忽略 p99 延迟只看平均吞吐,会低估真实业务的长尾延迟

数据来源与参考

  • Apache Kafka 官方文档:Producer Performance Testing
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌