首页/数据/数据工程与 ETL 速查/DataX 限流与错误控制
本包目录(311 条)
管道基础52 条Kafka64 条调度与编排40 条数仓建模52 条数据质量50 条
CDC 与同步53 条

DataX 限流与错误控制

DataX 的并发与限流在 job.setting.speed:channel 控制并发通道数、byte 限制每秒字节数(-1 不限)、record 限制每秒记录数;errorLimit 控制允许的错误记录数与比例,超出即失败。这些设置是保护源库与目标库的关键闸门。

限流与错误上限配置

限流与错误上限配置
{
  "setting": {
    "speed": { "channel": 2, "byte": 10485760, "record": -1 },
    "errorLimit": { "record": 0, "percentage": 0.02 },
    "jvm": "-Xms1g -Xmx2g"
  }
}
channel并发任务数,直接决定对源库的连接与读压力
byte每秒传输字节上限(-1 不限),按带宽预算设置
errorLimit.record允许的错误行数,0 表示零容忍
脏数据被容忍的错误行会写入脏数据文件,需指定路径留存
errorLimit 不是“自动跳过脏数据”:宽容错误要在业务上确认,并保证错误行被收集后有人跟进。

易错点

  • channel 按机器核数拍脑袋,源库连接数与锁竞争瞬间升高
  • 开了错误容忍但不收脏数据文件,问题数据无迹可查

数据来源与参考

  • DataX 官方文档(speed 限流与 errorLimit 配置)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌