增量 append 导入示例
增量 append 导入示例
sqoop import --connect jdbc:mysql://10.0.0.5:3306/app \
--username ro_user --password-file /home/hadoop/.sqoop.pwd \
--table orders --target-dir /warehouse/ods/orders \
--incremental append --check-column id --last-value 100000 \
--split-by id -m 4| append | 只抽 check-column 大于 last-value 的新行 |
|---|---|
| lastmodified | 按时间列抽取新增与更新（需同列有索引） |
| --last-value | 业务侧维护位点，或用 Sqoop job 保存 |
| 维护状态 | 进入 Apache Attic，修复与新特性停滞 |
两种增量都捕获不到 DELETE：目标端删除同步需要额外机制。