Skip to content

约 7 分钟阅读

20. 语音交互链路 ​

语音交互把声学、音频、语音算法、语义理解和业务执行串成闭环。用户感知到的是“我说一句,设备能不能及时、准确、自然地回应”,工程上则是多模块的时序协同。

端到端流程 ​

语音交互流水线

每个模块都可能返回中间状态:

  • 采集:音频帧、时间戳、声道。
  • 前处理:增强音频、VAD 状态、声源方向。
  • 唤醒:置信度、唤醒时间点、唤醒词。
  • ASR:中间文本、最终文本、置信度。
  • NLU/LLM:意图、槽位、工具调用、回复文本。
  • TTS:音频分片、播放进度。

状态机 ​

语音设备通常需要明确状态机,而不是让各模块自由触发。

状态行为
休眠监听低功耗采集,只跑唤醒相关链路
唤醒确认播放提示音或亮灯,启动 ASR
收音中识别用户命令,处理 VAD 结束
理解中NLU 或大模型生成结果
执行中调用设备、服务或工具
播报中TTS 播放回复
错误恢复超时、无网络、识别失败或权限不足

“可打断”是播报状态下允许并行监听的能力,不一定是与播报互斥的独立状态。若采用分层状态机,可以在播报态内维护监听与播放两个子状态。

没有状态机时,常见问题是重复唤醒、播报时误识别自己的声音、用户打断无效、网络慢导致界面和音频状态不一致。

全双工与半双工 ​

模式说明适用场景
半双工设备播放时不听用户或弱化监听简单音箱、低成本设备
全双工播放时仍能听用户并支持打断会议、车载、智能助手

全双工需要更强的 AEC 和状态控制。设备播放 TTS 时,麦克风会同时收到扬声器声音和用户声音;系统必须保留用户语音,压制自身播放回声。

这里的全双工指设备层面:播放的同时还在收音。模型层面的全双工(一个模型同时听和说,自己决定何时开口)是另一回事,见下文“级联与端到端语音大模型”。前者是后者的前提:设备不能边播边听,模型再会接话也用不上。

轮次检测:用户说完了吗 ​

语音助手最常见的抱怨有两种:用户停顿一下就被抢话,或者说完了要等很久才有回应。两者都来自同一个决定:什么时候认为用户这一轮说完了。

只靠 VAD 的静音时长做判断,参数怎么调都两头为难。静音阈值设 300 ms,“帮我查一下……明天北京的天气”中间的停顿就会被切断;设 1.5 秒,每一轮都要多等 1.5 秒。人判断对方说没说完,看的是语义和语调:“帮我查一下”在语义上没说完,“好的”说完了。

所以对话系统通常在 VAD 之上再加一层轮次检测模型:

方案输入规模许可证
Pipecat Smart Turn v3.2最近 8 秒音频约 800 万参数,CPU 上几十毫秒BSD-2
LiveKit Turn Detector v1音频(声学与语义一起判断)未公布v1 仅托管服务;v1-mini 开放权重,LiveKit 模型许可
TEN Turn DetectionASR 文本基于 Qwen2.5-7BApache-2.0 加附加条款
Kyutai 语义 VAD音频,内置在其流式 ASR 中—CC-BY-4.0

常见组合是:VAD 发现短暂静音后,把最近的音频或文本交给轮次模型;模型判“说完了”就立刻提交,判“没说完”就继续等,直到一个兜底超时(比如 1—2 秒)。这样大多数轮次能在几百毫秒内响应,又不会在句中停顿时抢话。VAD 与端点检测、轮次检测的区别见 05 篇的概念边界表。

打断机制 ​

打断是语音交互体验的关键。用户在设备播报时说“停一下”“换一个”“不用了”,系统应能及时停止或切换。

实现要点:

  • 播报时仍保留唤醒或 VAD 监听。
  • AEC 参考必须包含当前播放的 TTS。
  • 打断词可以用轻量命令词模型或 ASR 短句识别。
  • 打断时增加轮次 generation,取消旧 TTS 任务并清空播放器队列;迟到音频携带旧轮次号时直接丢弃。
  • 对不可打断操作给出明确边界,例如支付确认。

例如第 7 轮正在播报,用户说“换一个”,切到第 8 轮后,即使第 7 轮云端音频稍后才到达,也不能重新入队。停止播报不等于撤销已完成的业务:灯已经打开,清空音频不会自动关灯;支付已提交,应查询同一幂等订单状态,不能因网络重试再次扣款。

级联与端到端语音大模型 ​

把语音接到大模型上有两种做法。

级联:VAD 与轮次检测 → 流式 ASR → 文本大模型 → 流式 TTS。每一段都可以单独替换和评估,能接任何文本大模型,工具调用、知识库检索都和文本应用一样做。缺点是延迟逐段叠加,而且转成文字时,语气、情绪、笑声这些信息丢了,回答也读不出相应的情绪。

端到端:一个模型直接听语音、说语音,中间可能同时生成一份文字“内心独白”来保证内容正确。它又分两种:

类型做法代表
轮流说(半双工)模型理解语音后同时生成文字和语音 token(Qwen-Omni 拆成“思考者”和“说话者”两个模块);仍靠 VAD 判断轮次Qwen2.5-Omni、Qwen3-Omni(官方理论首包 234 ms)、Step-Audio 2、Kimi-Audio
同时听和说(全双工)模型持续接收用户音频流,同时决定自己每一刻是说话还是沉默,能接话、附和、被打断Kyutai Moshi(理论延迟 160 ms)、MiniCPM-o 4.5、OpenAI GPT-Live

商用服务里,OpenAI Realtime API(2025-08 正式发布,之后有 gpt-realtime-1.5、2、2.1 等版本)和 Google Gemini Live 都提供端到端语音对话,2026 年 OpenAI 又推出了全双工的 GPT-Live。

怎么选:

关注点级联端到端
首次响应延迟各段相加,优化后可做到一秒内更低
语气、情绪、副语言丢失保留
换模型、加工具、接知识库容易受模型本身能力限制
问题定位每段有中间文本可查难,要专门的评测
私有化部署各段都有成熟开源模型开源模型较少、显存大

业务助手(客服、设备控制、查询)多数仍用级联,因为工具调用、权限确认和日志审计都依赖中间的文字。陪伴、口语练习这类重视自然度的场景更适合端到端。全双工的评测还不成熟,常用的 Full-Duplex-Bench 分别测停顿处理、附和、接话、被打断和不流利表达下的工具调用。

无论哪种,本页前面讲的打断、AEC 参考、轮次编号和幂等规则都还要做:端到端模型能听出用户插话,但清空播放队列、丢弃迟到的旧音频、不重复执行已完成的操作,仍是应用层的事。

端云协同 ​

语音交互常采用端云协同:

模块常见位置原因
唤醒端侧常开、低延迟、隐私
前处理端侧减少上传噪声和回声
ASR端侧、云端或混合按模型效果、持续负载、内存和离线要求决定,长文本也可本地处理
NLU/LLM云端或本地大模型需要知识、推理和工具
TTS端侧、云端或混合端侧低延迟,云端音质强

弱网场景要设计降级路径,例如本地命令词控制、离线 TTS 提示、网络恢复重试。

端侧和云端都出识别结果时,要先定谁能触发业务。常见做法是给每一轮分配幂等标识:端侧已经执行“打开灯”,云端稍后返回更完整的文本,只能更新显示,不能再执行一次。ASR 的 Final 也只表示这段文字不再修订,不是操作授权;涉及金额、权限的指令仍要确认参数和身份。

时序与延迟预算 ​

语音助手响应慢通常不是单个模块慢,而是多个小延迟叠加。

环节典型优化
唤醒小模型常驻、二级确认异步
ASR流式识别、提前启动
NLU/LLM意图短路、工具并发、缓存
TTS按句流式合成、首包优先
播放预缓冲、统一音频通道

交互系统应记录每段耗时:唤醒耗时、ASR 首字时间、ASR 完成时间、理解耗时、TTS 首包时间、播放开始时间。没有分段耗时,只看总延迟很难定位。

数据闭环 ​

线上语音系统需要留足可诊断数据,但要控制隐私和权限。

建议保留:

  • 设备型号、固件版本、算法版本。
  • 场景标签:车载、客厅、会议室、耳机。
  • 音频摘要指标:SNR、音量、VAD 时长、ERLE。
  • 模型输出:唤醒置信度、ASR 文本、置信度。
  • 分段耗时。
  • 用户反馈和纠错结果。

原始音频涉及隐私,采集、上传、存储和回放都应有明确授权与脱敏策略。

常见故障链路 ​

现象可能链路
“喊了没反应”麦克风、前处理、唤醒阈值、功耗状态
“听错命令”ASR、热词、端点、NLU 槽位
“答非所问”NLU/LLM 上下文、工具结果、对话状态
“声音打断不了”AEC、打断模型、播放状态机
“设备自己把自己唤醒”播放参考、AEC、唤醒负样本
“响应很慢”ASR 结束点、网络、LLM、TTS 首包

总结 ​

语音交互的质量取决于端到端链路,而不是某一个模型指标。工程上要把音频流、状态机、打断、端云协同、延迟监控和隐私边界一起设计,才能让声学能力稳定落到用户体验上。

下一篇:21. 质量评估与排错。

别急,先让缓存热一下。