Skip to content

约 5 分钟阅读

RAG 与工具调用 ​

大模型本身不适合承担所有事实和动作。知识会更新,系统状态会变化,很多任务还需要查询数据库、调用接口或写入业务系统。RAG 和工具调用就是把模型接到外部世界的两类核心方式。

政策证据、订单实时状态与退款写入的不同职责

用户问“退款为什么还没到账”,需要两种依据:政策说明什么条件下预计几天到账,订单服务说明这笔申请何时审核通过、当前状态是什么。RAG提供文档证据,工具查询实时状态,模型组织解释。若进一步要求执行退款,还需要独立的授权和业务校验。

RAG 解决什么 ​

RAG(Retrieval-Augmented Generation)把外部资料检索出来,再放进模型上下文,让模型基于资料回答。

它适合:

  • 企业知识库问答。
  • 技术文档助手。
  • 法规、制度、产品说明等需要引用依据的场景。
  • 知识更新频繁,不适合频繁微调的场景。

RAG 不适合:

  • 需要实时写入系统的动作。
  • 检索不到资料却强行回答的场景。
  • 资料本身质量很差或权限边界不清的场景。

RAG 链路 ​

  1. 文档清洗和切块。
  2. 建立关键词、向量或混合索引。
  3. 用户提问后,在服务端身份限定的可见范围内检索片段。
  4. 对片段排序、过滤、压缩。
  5. 把片段放入上下文。
  6. 模型基于片段生成回答。
  7. 返回答案和来源。

索引里的“最新”只意味着最近一次成功更新的版本,不等于实时交易状态。检索和生成要分开评估:召回正确仍可能改写条件或错误引用。

最小可用 RAG 怎么做 ​

第一版 RAG 不要一开始追求复杂平台,而要先把“资料能找对、答案有依据、没依据能拒答”做稳。

步骤要做什么验收标准
资料整理选 10 到 50 篇高质量文档,去掉重复页眉、无关目录和过期资料每篇文档有标题、来源和更新时间
切块按标题和段落切分,保留章节信息单个片段语义完整,不把表格和说明切散
建索引按固定问题集比较关键词、向量或混合检索精确术语与同义问法均检查召回
组上下文只放最相关片段,并标上来源编号模型能看到回答所需证据
生成答案要求只基于资料回答,缺资料时拒答答案带来源,不强行编造
建评估集准备明确命中、需要综合、无答案三类问题每次调整后能回归比较

一个常见误区是把所有精力放在 Prompt 上。Prompt 可以约束模型表达,但不能弥补资料质量差、切块混乱、检索召回错误。RAG 的调优顺序通常是:先修资料,再修切块和检索,然后再调 Prompt。

切块、召回和重排 ​

RAG 的质量主要卡在三个环节。

环节作用常见错误
切块决定资料以什么粒度进入索引按固定长度硬切,导致语义断裂
召回从索引中找候选片段只用向量,漏掉错误码、配置项、专有名词
重排从候选片段中挑最相关的内容把相似但不能回答问题的片段放到前面

调试时要看每一步的中间结果。用户问一个问题后,先检查召回片段是否包含正确答案;如果召回没有命中,问题在切块、索引或检索;如果召回命中了但答案仍然错,问题可能在重排、上下文组织或模型约束。

RAG 常见问题 ​

问题原因处理方式
答非所问检索召回错误优化切块、查询改写、混合检索
回答漏关键点片段太分散或排序差重排、摘要、合并上下文
引用不存在模型编造ID或片段映射错误从检索ID白名单选择并校验存在性,再核对结论是否受支持
权限泄露索引没有按用户权限过滤检索阶段做权限裁剪
成本高上下文塞太多过滤、压缩、分层检索

工具调用解决什么 ​

工具调用让模型通过受控接口获取实时信息或执行动作。

适合:

  • 查询订单状态。
  • 计算价格。
  • 读取文件。
  • 创建工单。
  • 调用搜索、数据库、部署平台。

工具调用的关键是:模型提出意图,工具层负责校验和执行。不能把模型输出直接当作可信指令。

例如只读订单工具返回下面的教学结果:

json
{
  "order_id": "A102",
  "refund_status": "approved",
  "approved_at": "2026-10-19T09:00:00+08:00",
  "channel": "demo-bank",
  "observed_at": "2026-10-20T10:00:00+08:00"
}

它只能证明查询时已审核,不能证明已经到账。政策若写“审核通过后3–5个工作日”,计算预计日期还需适用渠道、时区与工作日日历,不能直接加日历天。接口超时或缺字段时返回未知或失败,不能把空结果解释成未退款。查询也要核对订单归属,不能允许模型任意读取另一个用户的A103。

写工具是另一份合同:服务端核对具体订单、金额、状态、权限和既有授权,按业务政策决定是否需再次确认。confirmed=true不是授权记录。使用操作ID与幂等键保存结果;客户端超时先查询状态,再决定是否沿用同一个键重试,换键盲重试可能重复退款。模型回滚不能撤销已完成的交易。

RAG 与工具调用的区别 ​

维度RAG工具调用
主要目标提供知识依据获取状态或执行动作
输入用户问题模型生成的工具参数
输出文档片段结构化结果或执行状态
风险检索错、引用错、权限泄露参数错、越权、误写入
典型控制权限过滤、证据核对、来源引用参数校验、鉴权、幂等、按政策确认与审计

检索服务也可以包装成工具,二者不是互斥技术。RAG描述检索证据增强生成的方法,工具调用描述请求外部能力的交互方式;Agent可以编排多步任务,固定流程也可直接组合。MCP连接协议不自动赋予业务权限。

与 Agent、MCP 的关系 ​

Agent 常把 RAG 和工具调用串成多步任务。MCP 可以作为工具连接协议,把文件、数据库、API 统一暴露给客户端。

例如代码问答:

  1. RAG 检索相关设计文档。
  2. 工具读取源码。
  3. 模型解释问题。
  4. Agent 运行测试验证。

总结 ​

RAG核对资料与答案证据,工具核对实时结果与受控动作。入门步骤见知识库问答,可运行的关键词检索与替换接口见完整RAG实战,权限与审计见安全与治理。

别急,先让缓存热一下。