首页/数据/数据工程与 ETL 速查/消费端 fetch 与处理参数调优
本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

消费端 fetch 与处理参数调优

消费性能由拉取参数与处理循环共同决定:fetch.min.bytes/max.wait.ms 决定批量效率,max.poll.records 与 max.poll.interval.ms 决定单次处理量与超时边界。

拉取fetch.min.bytes(默认 1)、fetch.max.wait.ms(默认 500)
处理max.poll.records(默认 500)、max.poll.interval.ms(默认 300000,3.0 起会话超时默认 45000)
内存max.partition.fetch.bytes(默认 1MB)

批量消费配置

批量消费配置
fetch.min.bytes=1048576
fetch.max.wait.ms=500
max.poll.records=1000
max.poll.interval.ms=600000
调大 max.poll.records 提升吞吐,但要同步评估单批处理时间与 max.poll.interval.ms 的关系。

易错点

  • fetch.min.bytes 设置过大时,低流量分区要等满字节数才返回,延迟上升
  • 处理一批的时间波动大时,按最慢批次设置超时,避免被踢出组

数据来源与参考

  • Apache Kafka 官方文档:Consumer Configs 与 Performance 章节
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌