RAG 与工具调用
大模型本身不适合承担所有事实和动作。知识会更新,系统状态会变化,很多任务还需要查询数据库、调用接口或写入业务系统。RAG 和工具调用就是把模型接到外部世界的两类核心方式。
用户问“退款为什么还没到账”,需要两种依据:政策说明什么条件下预计几天到账,订单服务说明这笔申请何时审核通过、当前状态是什么。RAG提供文档证据,工具查询实时状态,模型组织解释。若进一步要求执行退款,还需要独立的授权和业务校验。
RAG 解决什么
RAG(Retrieval-Augmented Generation)把外部资料检索出来,再放进模型上下文,让模型基于资料回答。
它适合:
- 企业知识库问答。
- 技术文档助手。
- 法规、制度、产品说明等需要引用依据的场景。
- 知识更新频繁,不适合频繁微调的场景。
RAG 不适合:
- 需要实时写入系统的动作。
- 检索不到资料却强行回答的场景。
- 资料本身质量很差或权限边界不清的场景。
RAG 链路
- 文档清洗和切块。
- 建立关键词、向量或混合索引。
- 用户提问后,在服务端身份限定的可见范围内检索片段。
- 对片段排序、过滤、压缩。
- 把片段放入上下文。
- 模型基于片段生成回答。
- 返回答案和来源。
索引里的“最新”只意味着最近一次成功更新的版本,不等于实时交易状态。检索和生成要分开评估:召回正确仍可能改写条件或错误引用。
最小可用 RAG 怎么做
第一版 RAG 不要一开始追求复杂平台,而要先把“资料能找对、答案有依据、没依据能拒答”做稳。
| 步骤 | 要做什么 | 验收标准 |
|---|---|---|
| 资料整理 | 选 10 到 50 篇高质量文档,去掉重复页眉、无关目录和过期资料 | 每篇文档有标题、来源和更新时间 |
| 切块 | 按标题和段落切分,保留章节信息 | 单个片段语义完整,不把表格和说明切散 |
| 建索引 | 按固定问题集比较关键词、向量或混合检索 | 精确术语与同义问法均检查召回 |
| 组上下文 | 只放最相关片段,并标上来源编号 | 模型能看到回答所需证据 |
| 生成答案 | 要求只基于资料回答,缺资料时拒答 | 答案带来源,不强行编造 |
| 建评估集 | 准备明确命中、需要综合、无答案三类问题 | 每次调整后能回归比较 |
一个常见误区是把所有精力放在 Prompt 上。Prompt 可以约束模型表达,但不能弥补资料质量差、切块混乱、检索召回错误。RAG 的调优顺序通常是:先修资料,再修切块和检索,然后再调 Prompt。
切块、召回和重排
RAG 的质量主要卡在三个环节。
| 环节 | 作用 | 常见错误 |
|---|---|---|
| 切块 | 决定资料以什么粒度进入索引 | 按固定长度硬切,导致语义断裂 |
| 召回 | 从索引中找候选片段 | 只用向量,漏掉错误码、配置项、专有名词 |
| 重排 | 从候选片段中挑最相关的内容 | 把相似但不能回答问题的片段放到前面 |
调试时要看每一步的中间结果。用户问一个问题后,先检查召回片段是否包含正确答案;如果召回没有命中,问题在切块、索引或检索;如果召回命中了但答案仍然错,问题可能在重排、上下文组织或模型约束。
RAG 常见问题
| 问题 | 原因 | 处理方式 |
|---|---|---|
| 答非所问 | 检索召回错误 | 优化切块、查询改写、混合检索 |
| 回答漏关键点 | 片段太分散或排序差 | 重排、摘要、合并上下文 |
| 引用不存在 | 模型编造ID或片段映射错误 | 从检索ID白名单选择并校验存在性,再核对结论是否受支持 |
| 权限泄露 | 索引没有按用户权限过滤 | 检索阶段做权限裁剪 |
| 成本高 | 上下文塞太多 | 过滤、压缩、分层检索 |
工具调用解决什么
工具调用让模型通过受控接口获取实时信息或执行动作。
适合:
- 查询订单状态。
- 计算价格。
- 读取文件。
- 创建工单。
- 调用搜索、数据库、部署平台。
工具调用的关键是:模型提出意图,工具层负责校验和执行。不能把模型输出直接当作可信指令。
例如只读订单工具返回下面的教学结果:
json
{
"order_id": "A102",
"refund_status": "approved",
"approved_at": "2026-10-19T09:00:00+08:00",
"channel": "demo-bank",
"observed_at": "2026-10-20T10:00:00+08:00"
}它只能证明查询时已审核,不能证明已经到账。政策若写“审核通过后3–5个工作日”,计算预计日期还需适用渠道、时区与工作日日历,不能直接加日历天。接口超时或缺字段时返回未知或失败,不能把空结果解释成未退款。查询也要核对订单归属,不能允许模型任意读取另一个用户的A103。
写工具是另一份合同:服务端核对具体订单、金额、状态、权限和既有授权,按业务政策决定是否需再次确认。confirmed=true不是授权记录。使用操作ID与幂等键保存结果;客户端超时先查询状态,再决定是否沿用同一个键重试,换键盲重试可能重复退款。模型回滚不能撤销已完成的交易。
RAG 与工具调用的区别
| 维度 | RAG | 工具调用 |
|---|---|---|
| 主要目标 | 提供知识依据 | 获取状态或执行动作 |
| 输入 | 用户问题 | 模型生成的工具参数 |
| 输出 | 文档片段 | 结构化结果或执行状态 |
| 风险 | 检索错、引用错、权限泄露 | 参数错、越权、误写入 |
| 典型控制 | 权限过滤、证据核对、来源引用 | 参数校验、鉴权、幂等、按政策确认与审计 |
检索服务也可以包装成工具,二者不是互斥技术。RAG描述检索证据增强生成的方法,工具调用描述请求外部能力的交互方式;Agent可以编排多步任务,固定流程也可直接组合。MCP连接协议不自动赋予业务权限。
与 Agent、MCP 的关系
Agent 常把 RAG 和工具调用串成多步任务。MCP 可以作为工具连接协议,把文件、数据库、API 统一暴露给客户端。
例如代码问答:
- RAG 检索相关设计文档。
- 工具读取源码。
- 模型解释问题。
- Agent 运行测试验证。
总结
RAG核对资料与答案证据,工具核对实时结果与受控动作。入门步骤见知识库问答,可运行的关键词检索与替换接口见完整RAG实战,权限与审计见安全与治理。
