| COW | 写时复制,更新即重写文件,读路径简单 |
|---|---|
| MOR | 写日志文件,读取时合并,延迟低写放大小 |
| 关键字段 | recordkey 主键 + precombine 排序字段 |
PySpark 写入 Hudi 表
PySpark 写入 Hudi 表
hudi_options = {
'hoodie.table.name': 'orders',
'hoodie.datasource.write.recordkey.field': 'order_id',
'hoodie.datasource.write.precombine.field': 'updated_at',
'hoodie.datasource.write.table.type': 'COPY_ON_WRITE',
}
df.write.format('hudi').options(**hudi_options) \
.mode('append').save('/warehouse/orders_hudi')同主键多版本记录以 precombine 字段较大者为准,字段选错会导致旧数据覆盖新数据。