20. 语音交互链路
语音交互把声学、音频、语音算法、语义理解和业务执行串成闭环。用户感知到的是“我说一句,设备能不能及时、准确、自然地回应”,工程上则是多模块的时序协同。
端到端流程
每个模块都可能返回中间状态:
- 采集:音频帧、时间戳、声道。
- 前处理:增强音频、VAD 状态、声源方向。
- 唤醒:置信度、唤醒时间点、唤醒词。
- ASR:中间文本、最终文本、置信度。
- NLU/LLM:意图、槽位、工具调用、回复文本。
- TTS:音频分片、播放进度。
状态机
语音设备通常需要明确状态机,而不是让各模块自由触发。
| 状态 | 行为 |
|---|---|
| 休眠监听 | 低功耗采集,只跑唤醒相关链路 |
| 唤醒确认 | 播放提示音或亮灯,启动 ASR |
| 收音中 | 识别用户命令,处理 VAD 结束 |
| 理解中 | NLU 或大模型生成结果 |
| 执行中 | 调用设备、服务或工具 |
| 播报中 | TTS 播放回复 |
| 错误恢复 | 超时、无网络、识别失败或权限不足 |
“可打断”是播报状态下允许并行监听的能力,不一定是与播报互斥的独立状态。若采用分层状态机,可以在播报态内维护监听与播放两个子状态。
没有状态机时,常见问题是重复唤醒、播报时误识别自己的声音、用户打断无效、网络慢导致界面和音频状态不一致。
全双工与半双工
| 模式 | 说明 | 适用场景 |
|---|---|---|
| 半双工 | 设备播放时不听用户或弱化监听 | 简单音箱、低成本设备 |
| 全双工 | 播放时仍能听用户并支持打断 | 会议、车载、智能助手 |
全双工需要更强的 AEC 和状态控制。设备播放 TTS 时,麦克风会同时收到扬声器声音和用户声音;系统必须保留用户语音,压制自身播放回声。
这里的全双工指设备层面:播放的同时还在收音。模型层面的全双工(一个模型同时听和说,自己决定何时开口)是另一回事,见下文“级联与端到端语音大模型”。前者是后者的前提:设备不能边播边听,模型再会接话也用不上。
轮次检测:用户说完了吗
语音助手最常见的抱怨有两种:用户停顿一下就被抢话,或者说完了要等很久才有回应。两者都来自同一个决定:什么时候认为用户这一轮说完了。
只靠 VAD 的静音时长做判断,参数怎么调都两头为难。静音阈值设 300 ms,“帮我查一下……明天北京的天气”中间的停顿就会被切断;设 1.5 秒,每一轮都要多等 1.5 秒。人判断对方说没说完,看的是语义和语调:“帮我查一下”在语义上没说完,“好的”说完了。
所以对话系统通常在 VAD 之上再加一层轮次检测模型:
| 方案 | 输入 | 规模 | 许可证 |
|---|---|---|---|
| Pipecat Smart Turn v3.2 | 最近 8 秒音频 | 约 800 万参数,CPU 上几十毫秒 | BSD-2 |
| LiveKit Turn Detector v1 | 音频(声学与语义一起判断) | 未公布 | v1 仅托管服务;v1-mini 开放权重,LiveKit 模型许可 |
| TEN Turn Detection | ASR 文本 | 基于 Qwen2.5-7B | Apache-2.0 加附加条款 |
| Kyutai 语义 VAD | 音频,内置在其流式 ASR 中 | — | CC-BY-4.0 |
常见组合是:VAD 发现短暂静音后,把最近的音频或文本交给轮次模型;模型判“说完了”就立刻提交,判“没说完”就继续等,直到一个兜底超时(比如 1—2 秒)。这样大多数轮次能在几百毫秒内响应,又不会在句中停顿时抢话。VAD 与端点检测、轮次检测的区别见 05 篇的概念边界表。
打断机制
打断是语音交互体验的关键。用户在设备播报时说“停一下”“换一个”“不用了”,系统应能及时停止或切换。
实现要点:
- 播报时仍保留唤醒或 VAD 监听。
- AEC 参考必须包含当前播放的 TTS。
- 打断词可以用轻量命令词模型或 ASR 短句识别。
- 打断时增加轮次
generation,取消旧 TTS 任务并清空播放器队列;迟到音频携带旧轮次号时直接丢弃。 - 对不可打断操作给出明确边界,例如支付确认。
例如第 7 轮正在播报,用户说“换一个”,切到第 8 轮后,即使第 7 轮云端音频稍后才到达,也不能重新入队。停止播报不等于撤销已完成的业务:灯已经打开,清空音频不会自动关灯;支付已提交,应查询同一幂等订单状态,不能因网络重试再次扣款。
级联与端到端语音大模型
把语音接到大模型上有两种做法。
级联:VAD 与轮次检测 → 流式 ASR → 文本大模型 → 流式 TTS。每一段都可以单独替换和评估,能接任何文本大模型,工具调用、知识库检索都和文本应用一样做。缺点是延迟逐段叠加,而且转成文字时,语气、情绪、笑声这些信息丢了,回答也读不出相应的情绪。
端到端:一个模型直接听语音、说语音,中间可能同时生成一份文字“内心独白”来保证内容正确。它又分两种:
| 类型 | 做法 | 代表 |
|---|---|---|
| 轮流说(半双工) | 模型理解语音后同时生成文字和语音 token(Qwen-Omni 拆成“思考者”和“说话者”两个模块);仍靠 VAD 判断轮次 | Qwen2.5-Omni、Qwen3-Omni(官方理论首包 234 ms)、Step-Audio 2、Kimi-Audio |
| 同时听和说(全双工) | 模型持续接收用户音频流,同时决定自己每一刻是说话还是沉默,能接话、附和、被打断 | Kyutai Moshi(理论延迟 160 ms)、MiniCPM-o 4.5、OpenAI GPT-Live |
商用服务里,OpenAI Realtime API(2025-08 正式发布,之后有 gpt-realtime-1.5、2、2.1 等版本)和 Google Gemini Live 都提供端到端语音对话,2026 年 OpenAI 又推出了全双工的 GPT-Live。
怎么选:
| 关注点 | 级联 | 端到端 |
|---|---|---|
| 首次响应延迟 | 各段相加,优化后可做到一秒内 | 更低 |
| 语气、情绪、副语言 | 丢失 | 保留 |
| 换模型、加工具、接知识库 | 容易 | 受模型本身能力限制 |
| 问题定位 | 每段有中间文本可查 | 难,要专门的评测 |
| 私有化部署 | 各段都有成熟开源模型 | 开源模型较少、显存大 |
业务助手(客服、设备控制、查询)多数仍用级联,因为工具调用、权限确认和日志审计都依赖中间的文字。陪伴、口语练习这类重视自然度的场景更适合端到端。全双工的评测还不成熟,常用的 Full-Duplex-Bench 分别测停顿处理、附和、接话、被打断和不流利表达下的工具调用。
无论哪种,本页前面讲的打断、AEC 参考、轮次编号和幂等规则都还要做:端到端模型能听出用户插话,但清空播放队列、丢弃迟到的旧音频、不重复执行已完成的操作,仍是应用层的事。
端云协同
语音交互常采用端云协同:
| 模块 | 常见位置 | 原因 |
|---|---|---|
| 唤醒 | 端侧 | 常开、低延迟、隐私 |
| 前处理 | 端侧 | 减少上传噪声和回声 |
| ASR | 端侧、云端或混合 | 按模型效果、持续负载、内存和离线要求决定,长文本也可本地处理 |
| NLU/LLM | 云端或本地大模型 | 需要知识、推理和工具 |
| TTS | 端侧、云端或混合 | 端侧低延迟,云端音质强 |
弱网场景要设计降级路径,例如本地命令词控制、离线 TTS 提示、网络恢复重试。
端侧和云端都出识别结果时,要先定谁能触发业务。常见做法是给每一轮分配幂等标识:端侧已经执行“打开灯”,云端稍后返回更完整的文本,只能更新显示,不能再执行一次。ASR 的 Final 也只表示这段文字不再修订,不是操作授权;涉及金额、权限的指令仍要确认参数和身份。
时序与延迟预算
语音助手响应慢通常不是单个模块慢,而是多个小延迟叠加。
| 环节 | 典型优化 |
|---|---|
| 唤醒 | 小模型常驻、二级确认异步 |
| ASR | 流式识别、提前启动 |
| NLU/LLM | 意图短路、工具并发、缓存 |
| TTS | 按句流式合成、首包优先 |
| 播放 | 预缓冲、统一音频通道 |
交互系统应记录每段耗时:唤醒耗时、ASR 首字时间、ASR 完成时间、理解耗时、TTS 首包时间、播放开始时间。没有分段耗时,只看总延迟很难定位。
数据闭环
线上语音系统需要留足可诊断数据,但要控制隐私和权限。
建议保留:
- 设备型号、固件版本、算法版本。
- 场景标签:车载、客厅、会议室、耳机。
- 音频摘要指标:SNR、音量、VAD 时长、ERLE。
- 模型输出:唤醒置信度、ASR 文本、置信度。
- 分段耗时。
- 用户反馈和纠错结果。
原始音频涉及隐私,采集、上传、存储和回放都应有明确授权与脱敏策略。
常见故障链路
| 现象 | 可能链路 |
|---|---|
| “喊了没反应” | 麦克风、前处理、唤醒阈值、功耗状态 |
| “听错命令” | ASR、热词、端点、NLU 槽位 |
| “答非所问” | NLU/LLM 上下文、工具结果、对话状态 |
| “声音打断不了” | AEC、打断模型、播放状态机 |
| “设备自己把自己唤醒” | 播放参考、AEC、唤醒负样本 |
| “响应很慢” | ASR 结束点、网络、LLM、TTS 首包 |
总结
语音交互的质量取决于端到端链路,而不是某一个模型指标。工程上要把音频流、状态机、打断、端云协同、延迟监控和隐私边界一起设计,才能让声学能力稳定落到用户体验上。
下一篇:21. 质量评估与排错。
