NoSQL:访问模型与数据边界
查一张订单详情、找最近一小时的设备事件、判断两个账户是否共用设备,虽然都叫“查询数据”,需要的组织方式却不同。NoSQL 是一组数据模型与系统的统称,不是一种统一数据库;它不意味着没有 schema、没有事务、只提供最终一致性,或性能必然超过关系型数据库。
先把最常执行的查询、更新单位、数据量与故障要求写出来,再选模型。Redis、MongoDB、HBase、Cassandra、Neo4j 不能靠统一的单条写入耗时排名,它们承诺的持久性、索引和一致性范围不同。本页侧重模型与分区,具体安装、操作和排障进入已有专页。
按访问方式阅读
| 业务问题 | 模型与适用原因 | 实操入口 |
|---|---|---|
| 按订单号读取一份缓存、按用户读取会话 | 键值或内存数据结构,应用知道完整键 | Redis:结构、TTL、缓存竞态、Stream 与恢复边界 |
| 读取商品资料、订单聚合或可变配置 | 文档内保存经常一起读写的字段,可建立受控索引 | MongoDB:嵌入与引用、唯一键、原子更新及读写确认 |
| 一个设备的时间范围事件 | 宽列模型按分区键或行键组织连续数据 | 本页后续的列族、行键和热点说明 |
| 从账户沿设备、收款关系找关联路径 | 图模型把关系作为主要查询对象 | 图数据库:方向、去重、路径与图算法边界 |
| 按关键词找工单或商品 | 搜索索引组织倒排、分词和相关性 | Elasticsearch:写入可见性、分页与重建 |
| 按时间窗口统计设备指标 | 时序模型提供时间范围、聚合和保留策略 | InfluxDB:点身份、标签基数与降采样 |
分类不是严格互斥:文档库可能支持聚合、图查询或全文索引,关系库也能存 JSON。关键是主访问路径的代价与语义。JSON 字段不是自动索引,文档结构灵活也不表示字段类型可以任意漂移;版本、金额单位、必填字段和兼容性仍要约束。
某项事实由哪个系统负责写入,要独立决定。文章内容可以以文档库为权威源,关系网络可以在图数据库维护;NoSQL 不必永远是缓存。但订单、支付和库存需要哪些操作一起成功、能接受哪些丢失或重复,必须明确,不能只因为字段多就迁移主存储。
用聚合边界判断原子操作
把订单头与少量订单行放在同一文档,经常能减少一次详情查询的关联,也让一份文档内的更新落在同一个原子范围。商品全量评论持续增长时则不宜无限嵌入:文档大小、更新放大、分页和热点都会出现问题。需要独立增长和独立访问的对象,通常更适合引用或拆开存储。
一次原子更新不等于任意业务过程都是事务。客户端先 GET 库存,再 SET 扣减,两条命令之间仍有竞争;Pipeline 减少往返,也不会自动把它们变为隔离操作。Redis 的执行期错误不提供整组回滚,HBase 的行级原子修改不覆盖任意多行,文档库的多文档事务也有相应部署、成本和限制。库存与余额的约束要落到实际支持的条件更新或事务范围。
异步复制还要区分“主节点返回成功”“多数副本确认”“读者能看到”和“故障后保留”。请求超时可能是服务端未执行,也可能是已经执行但响应丢失;重试扣款、加积分或自增前,需要持久幂等身份和可查询的操作结果,不能每次生成新业务请求号。
列族不等于分析列式存储
HBase 的单元格可以用行键、列族、列限定符和版本定位;列族需要预先设计,限定符可以灵活出现。相关数据按行键范围组织,由 RegionServer 服务,底层常依赖 HDFS。它适合按键查找与范围扫描,不会因为名字里有“列”就自动成为适合任意聚合的 OLAP 仓库。
Cassandra 同属常见宽列系统,但它使用分区键决定数据分布、聚簇列决定分区内排序,并提供 CQL。它与 HBase 的拓扑、复制、查询约束和一致性选项不同,不能把 HBase 的 Region、单行事务和 Java API 直接套用过去。两者都需要围绕访问模式建模,随意增加过滤条件可能变成昂贵扫描,或被查询接口直接拒绝。
从设备历史查询设计行键
假设接口要查询“租户 t1、设备 d88,在 UTC 12:00 到 13:00 之间的事件”,事件号唯一,标识符只允许字母、数字、连字符和下划线。可先考虑以下固定编码的 HBase 行键形态,示例中的 | 是字段分隔符:
text
t1|d88|20261020T120000000Z|evt001
t1|d88|20261020T120000000Z|evt002
t1|d88|20261020T123000000Z|evt003
t1|d88|20261020T130000000Z|evt004固定长度 UTC 时间保持字节序与时间序一致;事件号避免同一毫秒两次上报互相覆盖。扫描可以从 t1|d88|20261020T120000000Z| 开始,到 t1|d88|20261020T130000000Z| 结束,采用左闭右开范围,应包含前三条而不包含 evt004。这是行键编码与范围的说明,实际调用还需要表名、列族、权限及对应客户端配置。
时间必须统一到 UTC 并固定精度,标识符要限制字符或采用无歧义编码,不能直接拼接任意用户输入。设备号是否在全平台唯一也要确定:忽略租户可能覆盖另一家客户的事件。相同事件号重放若使用不同时间戳作为行键,则仍会产生两行;去重身份与查询键需要共同设计。
单纯把时间放最前面,持续写入会集中到当前键范围,形成热点。把设备放前面可以分散不同设备,但一个超级设备仍可能打满某个范围。散列桶前缀配合预分区能进一步控制分布,但增加全局时间查询的多范围扫描成本。桶算法、桶数和编码必须稳定;每个进程随机的 hash 不能作为持久路由协议。换桶数时需要明确迁移或双路读取,不能原地改配置后假设旧数据自然移动。
列族的版本数、TTL、压缩、Bloom 过滤器影响存储与查询,不应给用户基本资料随手配置一天 TTL。TTL、删除标记与 compaction 也不表示过期瞬间所有物理副本立即擦除;安全删除要求还要覆盖备份、历史版本和复制。过滤器只能减少部分返回或读放大,不能替代正确的行键范围。
CAP 需要放到网络分区中讨论
CAP 讨论的是网络分区发生时,线性一致性与规定意义的可用性不能同时满足。线性一致性要求每次操作看起来发生在调用与返回之间的某个时刻,并尊重已经完成操作的先后;不是“所有机器时钟一致”。可用性要求非故障节点收到的操作最终给出符合服务语义的响应,不能把错误或“请稍后再试”当成成功服务。真实系统还会设响应时限、降级和重试策略。
例如订单在主分区已经确认 v2 paid,另一侧网络隔离的副本只有 v1 pending。隔离侧若继续返回旧状态,就不能保证这次读符合线性一致性;若为了等待权威状态而拒绝或阻塞读取,就牺牲了该请求的可用性。不能通过“选择不需要分区容错”让现实网络永远不分区。
同一产品的主节点读、从节点读、写确认、条件事务和不同一致性级别可能提供不同合同,因此不能把全部 NoSQL 贴成 AP 或 CP。多数派读写也不是无条件的线性一致性证明:并发、失败确认、修复、成员变化与具体写入协议都需要核对。单副本成功与集群故障后的数据持久性也不是同一指标。
最终一致性要求在没有新更新、通信恢复且系统完成必要传播或修复后,副本收敛;它不保证每次读都新鲜、固定几秒内收敛,或跨多个对象保持业务约束。BASE 是描述一类设计取向的概念,不能用作产品必然可靠的证明。支付结果页需要何种读取保证,应根据业务操作逐个确定。
多种存储并用时,谁负责纠错
假设订单库发布版本 8,文档读模型、搜索索引和图关系都从变更事件更新。需要可靠接入、独立消费进度与业务版本判断;不能让所有存储接收无条件 SET 后假定一致。版本 7 迟到不得覆盖 8,同版本内容冲突要隔离,消费者写入成功后再推进可恢复的进度。
更新不是原子双写时,外部请求超时、消息重复、消费进度丢失和重建期间切换都应有处理路径。事件主键、租户、对象版本、schema 版本、删除语义和保留期必须在写入合同中。缓存 TTL、MongoDB TTL 索引和 HBase 保留策略分别有自己的执行方式,不能统一当成准时触发业务动作的定时器。
当用户说“支付成功但列表没变”,先查权威支付与订单结果,再追踪读模型版本、消费位点和缓存来源;不应立即重复扣款。派生视图必须有从快照加增量重建的入口,并验证切换时没有漏掉边界事件,详见 Kafka 接入与数据分层。
选型和性能验证的具体输入
先拿一条主要查询和一条主要更新建立小范围原型,记录键分布、对象大小、索引、复制数、确认级别及故障合同,再扩到真实分布的数据量。平均值不能暴露大文档、热设备、超级节点和少数超慢请求,至少观察延迟分位数、超时率、资源、积压和恢复过程。
| 必须固定的条件 | 需要排除的误判 |
|---|---|
| 同一业务工作量与正确性断言 | 空循环计时,或一边写十万条、一边写一万条比较 |
| 持久化、复制、读写确认及索引范围 | 用内存临时缓存与持久多数派写入直接排名 |
| 数据集、访问分布与连接池 | 全部命中小数据缓存,却外推真实长尾访问 |
| 可恢复的重复和故障输入 | 只测成功写入,不检查超时后是否重复执行 |
| 备份、升级、权限和维护成本 | 只比较吞吐,不计恢复、迁移及运维复杂度 |
模型变化之后再引入新数据库。能由现有系统的索引、聚合边界或查询方式解决的问题,先验证这些方案;确实需要不同访问路径时,再承担同步与恢复的额外成本。
