Skip to content

约 4 分钟阅读

流式语音系统技术实践 ​

两个人轮流说话,界面不断显示临时文字;一句结束后,服务还要确认文本、时间范围和说话人。点击停止时,最后一段可能仍在计算。这组文章用这条会议链路解释:音频交给谁、结果何时可信、错误发生在哪一层。

处理链路与方案选择 ​

截至 2026-10-18,正式兼容路径仍是 TEN-VAD 主分段、Nemotron-3-Diarization 增量角色证据、普通 ASR 与参考条件化 TS-ASR。整段 MOSS 角色模型虽能独立运行,接入现有逐句协议的候选未通过,不能视为已经替换。CTC 不作为本链路的运行依赖。

想解决的问题先看什么不应误以为
所有人都转写普通 ASR,保留语音加目标门控会自动更准确
文字归到不同说话人增量角色时间线 + 逐句角色字段匿名角色号就是登记身份
只识别登记说话人登记参考 + TS-ASR;Speaker VAD 默认关闭、可显式开启参考传入就证明非目标一定被过滤
专业词写成同音词实际提示、拼音补召、原文与 ITN词在库里就必然命中

Preview 是可修订假设,Final 是协议定稿。协议定稿保证不再修改,不保证内容天然正确;目标缺席时的误输出仍需负例验证。

流式语音系统的两条识别路径

阅读时先沿图找到当前模式,再进入对应机制页。下表既是目录,也是排查入口;数字、姓名等示例使用合成内容,保留技术因果关系。

技术地图 ​

篇目核心问题可复用的实现方法
1. 处理链路与运行架构一份 PCM 如何进入不同模式样本时间轴、模式分流、并行任务与有序发布
2. 断句、收尾与逐句时延如何减少等待并避免尾字丢失静音预计算、所有权移交、排空状态机
3. 角色证据与目标说话人识别匿名槽位、身份与目标输入如何区分跨窗身份关联、极短子段处理、learned SEP 输入合同
4. 共享热词召回与请求隔离如何让普通与目标识别使用同一词库共享解析器、音频召回、快照更新、请求局部提示词
5. 动态批处理与推理调度为什么连接并发不等于模型并发单进程动态序列调度、分层预算、截止时间与背压
6. 推理输入合同与资源生命周期非法输入、取消和数值变化如何影响推理整批预检、原生任务排空、prefill 执行范围隔离
7. 音频回放与质量回归如何区分输入、模型和合并错误样本对齐、绝对时间回放、文本与身份独立断言
8. 离线推理容器与工件一致性如何在隔离环境稳定启动整个链路依赖封装、设备映射、只读运行、模型与配置摘要绑定

阅读顺序:按数据流向排列。音频先进入运行架构(1),被切成句子并收尾(2),再确定是谁说的(3)、补正专业词(4),然后排队进入模型(5、6),最后用回放验证(7)并打包进离线环境(8)。只关心某个故障时,直接从上表的“核心问题”列进入。

前置知识 ​

这组文章直接使用 VAD、说话人分离、目标说话人识别、动态批处理等概念,没有从头解释。不熟悉时先读:

概念基础篇
VAD 的概率、滞回、前后缓存,TEN-VAD 与 Silero 的区别声学与语音 05. VAD 语音活动检测
识别模型的四类结构,音频编码器 + 大模型的 ASR声学与语音 09. 主流识别模型
声纹、说话人分离、DER、目标说话人 ASR声学与语音 10. 说话人识别与分离
端侧加速器的体量门槛、算子适配、功耗与时延口径声学与语音 15. 端侧 NPU 加速导读
连续批处理、KV Cache、prefill 与 decode大模型推理优化

方案的不变量 ​

音频区间由样本编号表达,封口后不可变。匿名角色编号不能直接映射为登记身份。目标识别失败不能静默恢复成无约束普通识别。已接受的预计算任务独立于下一轮准备生命周期。Final 只提交一次,后置证据不得覆盖调用方已经消费的字段。

这些约束比某个阈值或 worker 数更稳定。具体并发上限取决于模型、输入长度、缓存和设备余量;具体断句参数取决于帧长、停顿和重叠分布。参数必须以当前链路的质量和性能对照选定。

别急,先让缓存热一下。