Skip to content

约 4 分钟阅读

大数据技术概览 ​

商城每天的订单明细要生成日报,最近五分钟的支付事件又要进入实时告警。同一份业务事实会走不同计算路径:日报允许等数据到齐后重算,告警关注延迟、乱序和重复。大数据专题沿这条订单链路解释采集、存储、计算、建模、调度与恢复。

如果当前系统只是单库报表慢,优先检查索引、归档、读写分离或分析型副本;只有当数据来自多个系统、任务链路复杂、计算量超过业务库承载范围,或者需要批流一体和统一治理时,才需要引入大数据体系。

订单数据平台的批流路径与发布边界

CDC连接器读取已提交变更并记录位点,Kafka保存可重放事件;它们都不是业务库事务的一部分。原始数据存到HDFS或对象存储后,Spark可以重算历史日报;Flink持续维护实时窗口。调度器组织依赖与补数,质量检查通过后才向下游发布一个结果版本。

阅读路径 ​

先按当前问题选择入口,不要求先部署整套平台。Kafka不是所有批处理的前提,纯文件批处理可以直接从原始存储进入计算;对象存储也不需要先经过HDFS。

从一笔订单核对全链路 ​

订单102先是pending,版本2变为paid,消费者重试又收到版本2,之后版本1迟到。原始层可以保留收到的事件,但“订单当前状态”明细必须按业务键和版本收敛;不能按到达时间选最后一条,更不能直接累计每条paid事件作为成交单数。

日报还要区分“当天下单且最终支付”“当天实际支付”和“支付事件发生当天的金额”。退款按哪一天回冲、使用哪个时区、数据截到哪个位点,都会改变结果。先把这些条件写进指标合同,再安排Spark回算或Flink实时更新。

例如支付事件晚到一天,补数任务要能重算对应业务分区。新版本先核对业务键去重数、金额、缺失率和上下游差异,再切换可见版本;失败时保留上个已验证结果。只重跑计算而重复追加到报表表里,会把一次故障变成重复金额。

处理模式 ​

模式延迟典型组件适用场景注意点
批处理分钟到小时Spark、Hive、DolphinScheduler离线数仓、历史回算、日报月报、模型训练数据关注补数、分区、资源队列和任务依赖
流处理毫秒到分钟Kafka、Flink实时指标、实时风控、告警、实时宽表关注事件时间、状态大小、检查点和幂等写入
交互式查询秒到分钟Trino、Presto、ClickHouse、Doris即席分析、数据探索、宽表查询关注并发、权限、缓存和资源隔离
湖仓处理分钟到小时Iceberg、Hudi、Delta Lake、Spark、Flink数据湖表管理、增量处理、批流统一关注表格式、元数据、文件小块和版本管理

典型场景 ​

业务报表 ​

业务库通过 CDC 或定时同步进入 ODS 层,清洗后进入 DWD 明细层,再按主题聚合成 DWS 或 ADS。报表查询不直接压业务库,指标口径在数据仓库侧固化,调度系统负责每日任务依赖、失败重试和补数。

实时风控 ​

订单、登录、支付、设备事件进入 Kafka,Flink 按用户、设备、IP 或银行卡维护状态,计算短时间窗口内的行为频次和关联风险。结果写入 Redis、关系型数据库或风控服务,供在线接口低延迟读取。

日志与观测 ​

应用日志、访问日志和指标数据可以进入 Kafka 或日志采集系统,再分别写入 Elasticsearch、时序数据库或数据湖。日志链路要控制字段规范、索引生命周期、冷热分层和敏感数据脱敏。

数据湖归档 ​

历史订单、事件明细、设备数据和日志可以进入对象存储或 HDFS,并使用表格式管理元数据和增量变更。归档不是简单压缩文件,需要保留分区、字段演进、权限、生命周期和可回放能力。

排查闭环 ​

现象优先检查
Kafka 消费延迟升高分区数、消费者并发、单条消息处理时间、下游写入速度
Flink 任务反压算子耗时、状态大小、Checkpoint 时长、外部存储吞吐
Spark 任务运行过久数据倾斜、分区数、Shuffle 大小、广播表大小、资源队列
报表口径不一致指标定义、数据分层、任务版本、时间分区、补数范围
数据缺失采集端失败、消息位点、任务依赖、分区是否产出、写入幂等
存储成本过高明细保留周期、冷热分层、小文件、索引生命周期、重复表

能力验证清单 ​

  • 能画出从业务库到报表、实时指标或推荐特征的完整数据链路。
  • 能说明 Kafka、Flink、Spark、HDFS、调度系统在链路中的职责边界。
  • 能为离线任务设计分区、补数、失败重试和数据质量校验。
  • 能解释实时任务中的事件时间、乱序、状态、Checkpoint 和幂等写入。
  • 能从延迟、成本、口径、质量和权限几个维度评估一条数据链路是否可上线。
别急,先让缓存热一下。