大数据技术概览
商城每天的订单明细要生成日报,最近五分钟的支付事件又要进入实时告警。同一份业务事实会走不同计算路径:日报允许等数据到齐后重算,告警关注延迟、乱序和重复。大数据专题沿这条订单链路解释采集、存储、计算、建模、调度与恢复。
如果当前系统只是单库报表慢,优先检查索引、归档、读写分离或分析型副本;只有当数据来自多个系统、任务链路复杂、计算量超过业务库承载范围,或者需要批流一体和统一治理时,才需要引入大数据体系。
CDC连接器读取已提交变更并记录位点,Kafka保存可重放事件;它们都不是业务库事务的一部分。原始数据存到HDFS或对象存储后,Spark可以重算历史日报;Flink持续维护实时窗口。调度器组织依赖与补数,质量检查通过后才向下游发布一个结果版本。
阅读路径
先按当前问题选择入口,不要求先部署整套平台。Kafka不是所有批处理的前提,纯文件批处理可以直接从原始存储进入计算;对象存储也不需要先经过HDFS。
从一笔订单核对全链路
订单102先是pending,版本2变为paid,消费者重试又收到版本2,之后版本1迟到。原始层可以保留收到的事件,但“订单当前状态”明细必须按业务键和版本收敛;不能按到达时间选最后一条,更不能直接累计每条paid事件作为成交单数。
日报还要区分“当天下单且最终支付”“当天实际支付”和“支付事件发生当天的金额”。退款按哪一天回冲、使用哪个时区、数据截到哪个位点,都会改变结果。先把这些条件写进指标合同,再安排Spark回算或Flink实时更新。
例如支付事件晚到一天,补数任务要能重算对应业务分区。新版本先核对业务键去重数、金额、缺失率和上下游差异,再切换可见版本;失败时保留上个已验证结果。只重跑计算而重复追加到报表表里,会把一次故障变成重复金额。
处理模式
| 模式 | 延迟 | 典型组件 | 适用场景 | 注意点 |
|---|---|---|---|---|
| 批处理 | 分钟到小时 | Spark、Hive、DolphinScheduler | 离线数仓、历史回算、日报月报、模型训练数据 | 关注补数、分区、资源队列和任务依赖 |
| 流处理 | 毫秒到分钟 | Kafka、Flink | 实时指标、实时风控、告警、实时宽表 | 关注事件时间、状态大小、检查点和幂等写入 |
| 交互式查询 | 秒到分钟 | Trino、Presto、ClickHouse、Doris | 即席分析、数据探索、宽表查询 | 关注并发、权限、缓存和资源隔离 |
| 湖仓处理 | 分钟到小时 | Iceberg、Hudi、Delta Lake、Spark、Flink | 数据湖表管理、增量处理、批流统一 | 关注表格式、元数据、文件小块和版本管理 |
典型场景
业务报表
业务库通过 CDC 或定时同步进入 ODS 层,清洗后进入 DWD 明细层,再按主题聚合成 DWS 或 ADS。报表查询不直接压业务库,指标口径在数据仓库侧固化,调度系统负责每日任务依赖、失败重试和补数。
实时风控
订单、登录、支付、设备事件进入 Kafka,Flink 按用户、设备、IP 或银行卡维护状态,计算短时间窗口内的行为频次和关联风险。结果写入 Redis、关系型数据库或风控服务,供在线接口低延迟读取。
日志与观测
应用日志、访问日志和指标数据可以进入 Kafka 或日志采集系统,再分别写入 Elasticsearch、时序数据库或数据湖。日志链路要控制字段规范、索引生命周期、冷热分层和敏感数据脱敏。
数据湖归档
历史订单、事件明细、设备数据和日志可以进入对象存储或 HDFS,并使用表格式管理元数据和增量变更。归档不是简单压缩文件,需要保留分区、字段演进、权限、生命周期和可回放能力。
排查闭环
| 现象 | 优先检查 |
|---|---|
| Kafka 消费延迟升高 | 分区数、消费者并发、单条消息处理时间、下游写入速度 |
| Flink 任务反压 | 算子耗时、状态大小、Checkpoint 时长、外部存储吞吐 |
| Spark 任务运行过久 | 数据倾斜、分区数、Shuffle 大小、广播表大小、资源队列 |
| 报表口径不一致 | 指标定义、数据分层、任务版本、时间分区、补数范围 |
| 数据缺失 | 采集端失败、消息位点、任务依赖、分区是否产出、写入幂等 |
| 存储成本过高 | 明细保留周期、冷热分层、小文件、索引生命周期、重复表 |
能力验证清单
- 能画出从业务库到报表、实时指标或推荐特征的完整数据链路。
- 能说明 Kafka、Flink、Spark、HDFS、调度系统在链路中的职责边界。
- 能为离线任务设计分区、补数、失败重试和数据质量校验。
- 能解释实时任务中的事件时间、乱序、状态、Checkpoint 和幂等写入。
- 能从延迟、成本、口径、质量和权限几个维度评估一条数据链路是否可上线。
