首页/数据/数据工程与 ETL 速查/消费端压测 kafka-consumer-perf-test.sh
Kafka64 条

消费端压测 kafka-consumer-perf-test.sh

消费端压测评估拉取性能与消费者配置影响:指定消息数与组名,观察吞吐与分区间表现,用于验证扩容是否改善消费。

关键参数--messages、--group、--show-detailed-stats、--reporting-interval
输出消费条数、MB/sec、耗时
注意会创建并提交消费组位移,勿复用业务组名

消费压测示例

消费压测示例
kafka-consumer-perf-test.sh --bootstrap-server kafka1:9092 \
  --topic perf-orders --messages 1000000 \
  --group perf-consumer-20261012 \
  --show-detailed-stats --reporting-interval 5000
消费端受分区数、fetch 参数与下游处理能力共同影响,单测拉取上限时要绕开业务处理逻辑。

易错点

  • 消费压测组名与业务组冲突会把业务位移改掉,务必使用独立组名
  • 只压不处理(纯拉取)的结果不能代表带业务逻辑的消费能力

数据来源与参考

  • Apache Kafka 官方文档:Consumer Performance Testing
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌