数据库技术概览
同一笔订单会出现在下单接口、订单详情、商品搜索和每日销售报表里,但这些地方不一定查询同一份数据。数据库专题围绕这条链路,说明业务事实由谁保存、查询副本如何更新,以及写入失败、查询变慢和数据延迟时从哪里排查。
阅读路径
从业务要保存的事实出发选择入口。例如商城的订单金额放在关系型数据库,热门商品列表可以缓存,商品关键词检索再交给搜索引擎。它们服务同一业务,却有不同的数据责任。
选型边界
先确定某类数据的权威写入位置,再问最常见的查询是什么、哪些操作必须一起成功、故障后允许丢多少数据和多久恢复。权威源不等于关系型数据库:文章正文可以由文档数据库负责,设备采样可以直接写时序库,关系也可以在图数据库里维护。一个系统可以有多个权威源,但同一项事实的修改责任需要明确。
例如“订单与库存必须一起更新”和“订单列表要按买家与时间查询”适合先评估关系型数据库;“保存结构经常变化的商品资料”可评估文档模型。引入新组件前,还要计入备份、监控、升级和同步故障的维护成本,不能只比较单次查询速度。
| 问题 | 优先选择 | 判断标准 |
|---|---|---|
| 核心交易、订单、账户、库存 | MySQL、PostgreSQL | 需要事务、约束、审计、备份恢复和稳定 SQL 能力 |
| 热点读取、临时状态、排行榜 | Redis | 数据可重建,访问延迟要求高,能接受内存成本 |
| 内容、配置、画像、事件载荷 | MongoDB | 字段变化快,读写多围绕单个文档聚合 |
| 搜索、日志、文本检索 | Elasticsearch | 需要分词、相关性排序、复杂过滤和聚合 |
| 监控指标、设备数据、行情 | InfluxDB、TimescaleDB | 数据按时间追加,查询围绕时间窗口和聚合函数 |
| 关系网络、路径分析、知识图谱 | Neo4j、JanusGraph 等图数据库 | 查询重点是多跳关系、路径和关系权重 |
| 离线分析、报表、数据湖 | 数仓、湖仓表与大数据处理链路 | Kafka 承接事件传输,Spark/Flink 执行计算,HDFS/对象存储承载文件;这些组件并非同一种数据库 |
典型组合
下面以关系库保存商品与订单的商城为例。搜索和分析是派生视图,更新可以稍晚;库存是否扣减成功必须以交易数据库的事务结果判断。这是该业务的责任分配,并不是所有数据库系统都必须围绕一个关系库构建。
业务系统
应用在一次本地事务里写入订单和需要可靠发布的 outbox 事件。CDC 连接器从 binlog/WAL 提取已提交变更,再交给 Kafka 和消费者。数据库日志不能直接当作 Kafka 消息读取;连接器负责解码、记录位点以及必要的初始快照。
主库提交成功并不表示搜索索引已刷新。假设订单版本从 7 更新到 8,消费者崩溃后可能再次收到版本 8,因此索引更新要能按事件 ID 去重,或按记录版本拒绝旧值覆盖新值。消费者写入成功后才确认消费进度,并保留重试、失败隔离和从快照重建视图的入口。跨分区不应假定全局顺序。
搜索系统
商品、文章和工单可将可搜索字段同步到 Elasticsearch。搜索结果可能返回文档内容,也可以只返回标识与排序信息;涉及当前价格、权限和可售库存时,最终业务操作仍需读取权威数据并校验。不能因为搜索里还有商品,就认定它仍然有库存。
Redis 采用旁路缓存时,应用先更新数据库,提交后使相关缓存失效;缓存未命中再加载。TTL 只能限制部分陈旧时间,不能证明数据库与缓存原子一致。需要更严格读后写一致性的订单详情,可以直接查主库或使用带版本的读取策略。
指标与观测
监控和设备采集链路通常由采集器写入消息队列,再进入时序数据库或日志系统。高频指标要设计保留策略、降采样规则和标签基数限制,否则存储成本和查询延迟会快速失控。
数据平台
业务库不直接承担大规模报表查询。常见做法是通过 CDC、日志或批量同步进入数据湖、数据仓库或湖仓表,再由 Spark、Flink、Trino、ClickHouse 等组件处理分析查询。调度系统负责依赖编排、补数和失败重试。
排查入口
先保留请求 ID、业务键、时间范围和错误码,再区分写入失败、读取变慢、数据不一致或容量告警。例如“支付成功但订单列表没变化”,先查权威订单状态,再判断列表读的是从库、缓存还是搜索索引;不应立即重扣一次款。
| 现象 | 优先检查 | 常用入口 |
|---|---|---|
| 接口变慢 | 慢 SQL、索引命中、锁等待、连接池耗尽 | EXPLAIN、慢查询日志、数据库连接数、应用线程栈 |
| 写入失败 | 唯一键冲突、事务超时、磁盘空间、主从状态 | 错误码、事务日志、磁盘监控、复制延迟 |
| 数据不一致 | 缓存更新顺序、异步消息丢失、重复消费、读写分离延迟 | 主库记录、缓存 TTL、消息位点、从库延迟 |
| 查询结果缺失 | 查询条件/时区、同步任务失败、索引延迟、数据过期 | 主库记录、CDC 位点、任务日志、索引刷新、TTL/保留策略 |
| 成本异常 | 大 Key、高基数标签、历史数据未归档、索引膨胀 | Redis 内存分析、时序标签统计、表大小、索引大小 |
能力验证清单
搭建练习时可以更新一件商品的名称,记录主库提交、消费者处理和搜索可见的三个时间点;暂停消费者后再恢复,验证旧事件重放不会覆盖新版本。再从快照重建索引,对照商品总数、业务键和版本差异。这比仅看到“消息消费成功”更能确认链路闭环。
- 能根据业务事实表、缓存、搜索索引和分析表的不同职责拆分读写链路。
- 能解释事务隔离级别、索引选择、锁等待和慢查询之间的关系。
- 能为核心业务库设计备份策略,并说明 RTO、RPO、恢复演练和权限控制。
- 能判断 Redis、Elasticsearch、MongoDB、InfluxDB、图数据库分别适合和不适合承接哪些数据。
- 能把业务库数据进入大数据链路的方式讲清楚,包括 CDC、消息队列、离线同步、分层建模和任务调度。
