流式语音系统技术实践
两个人轮流说话,界面不断显示临时文字;一句结束后,服务还要确认文本、时间范围和说话人。点击停止时,最后一段可能仍在计算。这组文章用这条会议链路解释:音频交给谁、结果何时可信、错误发生在哪一层。
处理链路与方案选择
截至 2026-10-18,正式兼容路径仍是 TEN-VAD 主分段、Nemotron-3-Diarization 增量角色证据、普通 ASR 与参考条件化 TS-ASR。整段 MOSS 角色模型虽能独立运行,接入现有逐句协议的候选未通过,不能视为已经替换。CTC 不作为本链路的运行依赖。
| 想解决的问题 | 先看什么 | 不应误以为 |
|---|---|---|
| 所有人都转写 | 普通 ASR,保留语音 | 加目标门控会自动更准确 |
| 文字归到不同说话人 | 增量角色时间线 + 逐句角色字段 | 匿名角色号就是登记身份 |
| 只识别登记说话人 | 登记参考 + TS-ASR;Speaker VAD 默认关闭、可显式开启 | 参考传入就证明非目标一定被过滤 |
| 专业词写成同音词 | 实际提示、拼音补召、原文与 ITN | 词在库里就必然命中 |
Preview 是可修订假设,Final 是协议定稿。协议定稿保证不再修改,不保证内容天然正确;目标缺席时的误输出仍需负例验证。
阅读时先沿图找到当前模式,再进入对应机制页。下表既是目录,也是排查入口;数字、姓名等示例使用合成内容,保留技术因果关系。
技术地图
| 篇目 | 核心问题 | 可复用的实现方法 |
|---|---|---|
| 1. 处理链路与运行架构 | 一份 PCM 如何进入不同模式 | 样本时间轴、模式分流、并行任务与有序发布 |
| 2. 断句、收尾与逐句时延 | 如何减少等待并避免尾字丢失 | 静音预计算、所有权移交、排空状态机 |
| 3. 角色证据与目标说话人识别 | 匿名槽位、身份与目标输入如何区分 | 跨窗身份关联、极短子段处理、learned SEP 输入合同 |
| 4. 共享热词召回与请求隔离 | 如何让普通与目标识别使用同一词库 | 共享解析器、音频召回、快照更新、请求局部提示词 |
| 5. 动态批处理与推理调度 | 为什么连接并发不等于模型并发 | 单进程动态序列调度、分层预算、截止时间与背压 |
| 6. 推理输入合同与资源生命周期 | 非法输入、取消和数值变化如何影响推理 | 整批预检、原生任务排空、prefill 执行范围隔离 |
| 7. 音频回放与质量回归 | 如何区分输入、模型和合并错误 | 样本对齐、绝对时间回放、文本与身份独立断言 |
| 8. 离线推理容器与工件一致性 | 如何在隔离环境稳定启动整个链路 | 依赖封装、设备映射、只读运行、模型与配置摘要绑定 |
阅读顺序:按数据流向排列。音频先进入运行架构(1),被切成句子并收尾(2),再确定是谁说的(3)、补正专业词(4),然后排队进入模型(5、6),最后用回放验证(7)并打包进离线环境(8)。只关心某个故障时,直接从上表的“核心问题”列进入。
前置知识
这组文章直接使用 VAD、说话人分离、目标说话人识别、动态批处理等概念,没有从头解释。不熟悉时先读:
| 概念 | 基础篇 |
|---|---|
| VAD 的概率、滞回、前后缓存,TEN-VAD 与 Silero 的区别 | 声学与语音 05. VAD 语音活动检测 |
| 识别模型的四类结构,音频编码器 + 大模型的 ASR | 声学与语音 09. 主流识别模型 |
| 声纹、说话人分离、DER、目标说话人 ASR | 声学与语音 10. 说话人识别与分离 |
| 端侧加速器的体量门槛、算子适配、功耗与时延口径 | 声学与语音 15. 端侧 NPU 加速导读 |
| 连续批处理、KV Cache、prefill 与 decode | 大模型推理优化 |
方案的不变量
音频区间由样本编号表达,封口后不可变。匿名角色编号不能直接映射为登记身份。目标识别失败不能静默恢复成无约束普通识别。已接受的预计算任务独立于下一轮准备生命周期。Final 只提交一次,后置证据不得覆盖调用方已经消费的字段。
这些约束比某个阈值或 worker 数更稳定。具体并发上限取决于模型、输入长度、缓存和设备余量;具体断句参数取决于帧长、停顿和重叠分布。参数必须以当前链路的质量和性能对照选定。
