数据仓库、数据湖与湖仓
订单日报需要稳定的指标和查询延迟,客服录音、原始日志则需要保留不同格式并支持重新处理。前者常用数据仓库承载,后者适合进入数据湖。两种需求可以同时存在:把音频转成可查询的识别结果,不意味着原始音频也必须存进报表数据库。
选型要回答三个具体问题:原始资料放在哪里,谁定义和提交表的有效版本,读者用什么引擎查询。湖仓通常在开放文件存储上增加表格式、事务和查询治理;仅把 CSV 改为 Parquet,或者让 Spark 读取对象存储,都不足以说明已经具备湖仓能力。
四个容易混淆的对象
| 对象 | 它解决什么 | 它没有自动解决什么 |
|---|---|---|
| 存储:对象存储、HDFS 等 | 保存和读取文件或对象,提供相应权限、冗余与访问接口 | 订单主键、表快照、业务去重、指标一致性 |
| 文件格式:Parquet、ORC 等 | 文件内的列式组织、编码、压缩和统计信息 | 一组文件的原子增删、跨文件更新、并发事务 |
| 表格式:Iceberg、Delta Lake、Hudi 等 | 用元数据和提交协议管理表、版本与数据文件 | 任意引擎都支持全部功能、跨表事务、自动业务正确性 |
| 目录与引擎 | 目录定位表及元数据,兼容目录参与提交;Spark、Flink、Trino 等执行读写 | 任意组合天然兼容、读取绕过存储权限、外部副作用与表事务绑定 |
不同产品中目录、元数据服务、事务服务可能合并部署,也可能拆开。评估时查看实际组件和协议,不靠产品名字推断保证。查询引擎必须理解表格式及版本,直接扫描底层数据目录可能同时读到旧文件、候选文件或逻辑删除尚未清理的记录。
数据仓库强调面向分析的数据模型、受控口径和服务能力,可以采用独立存储计算或云上弹性计算,也可以支持半结构化数据和持续接入。数据湖强调大规模、多格式资料的保存和多用途处理,仍然需要 schema、质量和访问控制。仓库不是“数据永不修改”,湖也不是“永远不定义结构”:纠错、隐私删除和保留期必须有执行入口。
快照如何让读者看到完整版本
以支持快照的表为例:版本 42 引用文件 A、B;更新订单后,版本 43 引用 A、C。写者先准备 C 和新元数据,再通过表格式与兼容目录的提交协议发布。发布成功之前,新读者仍看到 42;成功之后,新读者可读取 43。已经固定在 42 的读者仍然需要 B,不能立刻清理它。
图按 Iceberg 的快照关系简化:真实表还包含元数据文件、manifest list、manifest 及可能的删除文件等,不能只复制图中的三份数据文件来备份整张表。不同表格式和读写模式的元数据结构不同,提交边界以实际格式、目录与引擎为准。
并发写者若都基于 42 生成候选,第二个提交不能直接覆盖第一个提交的新指针。它需要经过实现规定的冲突检测,确认能否在新基础上重试;涉及同一订单的冲突可能需要重新计算。文件已经写成功但提交失败,会留下未引用文件;这类文件需要经过安全保留期和引用检查再回收。
时间旅行依赖元数据和所需数据文件同时存在。表快照过期、底层对象生命周期删除、错误的文件清理都会让旧版本失去可读性。它不能替代独立备份,也不能保证恢复目录服务、密钥、权限和源端日志。回退单张表还可能与下游已经发出的通知、写入的报表缓存或其他表不一致。
用订单变更检查更新语义
订单 102 的 v2 paid 3000 已入表,后来 v1 pending 3000 迟到。无条件 whenMatchedUpdateAll() 会让订单退回旧状态。只按订单号做匹配也会混淆不同租户。正确的更新合同至少包含租户、业务键、可比较版本、同版本内容一致性,以及源端删除的表示方式。
下面是 Delta Lake 的 Spark SQL 合并机制片段,要求目标 orders_current 和清洗后的 order_changes 已存在,字段与本例一致。运行前需要按业务键把源批次收敛为一条,并检查源内及源与目标之间的同版本冲突;这个片段本身不会自动拒绝这些冲突。
sql
MERGE INTO orders_current AS t
USING order_changes AS s
ON t.tenant_id = s.tenant_id AND t.order_id = s.order_id
WHEN MATCHED AND s.version > t.version THEN UPDATE SET
version = s.version,
status = s.status,
amount_cent = s.amount_cent
WHEN NOT MATCHED THEN INSERT
(tenant_id, order_id, version, status, amount_cent)
VALUES
(s.tenant_id, s.order_id, s.version, s.status, s.amount_cent);源批次多行匹配同一个目标可能导致合并失败,不能把“最后一条会获胜”当合同。目标表的业务键唯一性也要自己校验,不能假定表格式自动提供关系数据库的主键约束。低版本不覆盖高版本,重复同版本不新增,同版本金额不同则阻断:这三条需要分别验证。
删除要保留可比较的墓碑版本,或有等价的版本屏障;物理删除目标后,旧版重放可能把订单重新插入。订单取消通常是业务状态更新,不等同于隐私数据物理清除。合并单张订单表成功,也不表示订单汇总表、搜索索引和缓存已经同时提交;跨表一致报表需要固定各表快照或独立发布清单。
完整可运行的订单去重、粒度与日报练习见数据分层与指标口径。本页的合并片段用于解释引擎行为,不替代某个版本的连接器配置和事务恢复验收。
从业务约束选部署组合
| 实际需求 | 可先采用的方式 | 需要额外验证的边界 |
|---|---|---|
| 少量系统的日报、固定维度分析 | 关系数据库分析副本或成熟分析仓库,加稳定模型 | 源库隔离、报表口径、查询并发、数据刷新截点 |
| 录音、图片、原始日志保留与重新处理 | 对象存储原始区,受控目录和访问权限 | 文件清单、校验和、数据保留、个人信息和密钥管理 |
| 大规模历史表,多个引擎读取并持续纠错 | 开放存储与兼容湖表格式、目录及查询引擎 | 每个读写组合的格式版本、删除语义、提交及恢复 |
| 秒级看板与高并发固定查询 | 流处理加分析服务层,历史层保留可重算数据 | 实时与历史口径对齐、重复、迟到、回补及服务成本 |
“仓库查询一定快、湖查询一定慢”“仓库只能批处理、湖天然实时”都不是可用的选型条件。实际延迟取决于接入、提交频率、文件布局、执行计划、缓存、资源和服务层。把每条事件立即写成小文件,可能同时增加元数据、扫描与存储请求成本;把所有记录压成一个文件也会降低并行度。
Iceberg、Delta Lake、Hudi 的比较需要落到现有版本组合:运行哪个 Spark/Flink/Trino,启用哪种表特性,谁负责写入、合并和维护,使用何种目录及存储。新写者启用某种协议或删除特性后,旧读者可能无法理解。先列出实际读写矩阵做互操作验证,再升级协议;不要仅凭“支持 Parquet”认定可以混写。
迁移一张订单表的具体步骤
先固定事实粒度与业务键,再记录源快照和增量起点。源数据库的快照读取与后续 CDC 如何衔接,必须由接入工具提供可证明的边界,不能用两次手工记录墙上时间来拼接。原始文件保留来源、接入批次及完整性校验;分层、订单状态和指标仍沿用同一合同。
历史回填写入新表或新命名空间,持续增量追平后,对同一截点比较业务键集合、每个状态数量、金额总和,以及删除和同版本冲突。只比较总行数无法发现“一单丢失、一单重复”互相抵消。历史维度的代理键必须稳定生成和维护,不用每次全量 ROW_NUMBER() 重排;否则旧事实会指向另一个客户或商品。
切换读者前固定一个可回退的发布版本,确认目标权限、查询结果和成本,再逐个切换消费者。若保留双写,要明确主写者、重试与对账,不能让两个系统无约束地覆盖同一业务事实。旧系统的回退窗口依赖增量仍能重放,不能切换后立即删除源表或停止保留日志。
维护与验收
写入延迟和查询延迟分别观察。前者看源端积压、提交耗时、冲突重试与小文件增长;后者看实际扫描字节、分区裁剪、文件跳过、连接基数、并发和缓存。压缩小文件、重写布局和清理历史都有计算及存储开销,应与业务写入隔离资源并记录维护后的快照。
清理策略要覆盖最长查询、流任务停机恢复、补数及回退窗口。对象生命周期策略不能先于表级引用管理删除仍被使用的文件。执行维护命令前先核对格式版本、候选范围和保留时间,清理后实际读取保留快照;固定“7天”不是所有业务的正确答案。
| 验收动作 | 应观察到的结果 |
|---|---|
| 提交前终止写者 | 读者继续读取旧的完整快照,不读到半成品 |
| 两个写者并发修改同一订单 | 冲突被检测或按实现安全重试,不静默丢更新 |
| 重放重复事件、迟到旧版本和删除事件 | 当前状态、业务键数量及金额符合版本合同 |
| 使用每个生产读引擎查询同一快照 | 逻辑删除、时区和类型语义一致,而不只是能打开文件 |
| 清理与恢复演练 | 保留范围内旧版本可读,目录及存储恢复后能定位同一表 |
| 将账务与录音分开授权 | 无权限的查询和直接对象读取都被实际策略拒绝 |
这些是部署组合的验收动作,不代表任意产品默认全部通过。先在隔离表验证故障与清理,再确定生产发布和回退方案。批任务执行与质量发布分工见 Spark,持续流的检查点与外部提交边界见 Flink。
