Skip to content

约 4 分钟阅读

断句、收尾与逐句时延 ​

“已经停下说话,文字还不出来”和“文字已经出来,停止按钮还在转”是两类等待。前者看末音到 Final,后者看 stop/EOF 到 terminal。先把这两个终点分开,再判断该调 VAD、队列还是模型。

一句结束后还在做什么 ​

逐句 Final 与整个会话 terminal 的时序

区间等待的内容优先检查
真实末音 → VAD 封口结束确认、尾部保留、最大段长实际 start 帧、段起止样本
提交 → worker 开始会话内与全局排队enqueue/start/end,持续负载下队列趋势
worker 开始 → Final解码、必要角色覆盖、顺序发布模型用时与依赖关键路径
stop/EOF → terminal尾段提交、排空已接受任务current/pending/in-flight 的最终归属

Preview 可以在定稿前展示和修改,不等待最终身份授权,可能包含非目标词。测预览节奏只计有新文字的模型假设,排除重复事件与从 Final 派生的显示事件。事件发得更密,不代表模型识别更快。

尾字丢失:移动哪条边界才有效 ​

一轮完整连续流中,弱尾音在保留 40 ms 时没有进入模型。对照只移动一个边界,结果如下:

操作观察说明
起点提前 1 秒末字仍丢增加前导上下文没有解决问题
终点延后 0.5 秒末字恢复结束边界裁掉了有效语音
降低 VAD 阈值恢复尾音,但多句合并修复一个边界的代价扩散到分段结构
尾部保留 800 ms该测试触发生成循环更多尾音不等于更可靠
尾部保留 400 ms在该矩阵取得可接受折中当前默认;仍需跨场景回归

操作入口是 vad_keep_tail_ms。验收回放完整会话,比较 Final worker 实际收到的 PCM,同时查尾字、合句、重复、角色和时延。把句子剪成独立文件会重置 VAD 状态,滑动预览窗口也不能代替 Final 输入。

起音太慢,会让短指令根本进不了模型 ​

一个短词只有 310 ms 连续语音高于阈值,起音却要求连续 400 ms,便永远不能触发。此时调解码没有意义。

同一短句的起音要求阈值 0.70阈值 0.50阈值 0.45
400 ms空空有文字
300 ms有文字有文字有文字
200 ms有文字有文字有文字

当前 debugger/scenarios.json 为短指令类设置 200 ms/0.45,长语音、填单、会议设置 300 ms/0.45。场景间的断句静音不同,填单与会议保留 1200 ms;不要为了“更抗噪”统一提高起音时长和概率阈值。更高阈值曾增加真实语音漏检,纯噪声对照却没有显示相应收益。

配置要看实际发送值 ​

容易误判的地方实际发生过的故障验证动作
服务端默认 20 秒前端显式传 8 秒,默认不生效刷新页面后核对 start 中 endpoint_max_utterance_ms
文件已经部署浏览器仍运行旧 JS新建会话,查真实帧,不只查静态文件
存在登记 ID门控已关,却仍跳过长静音收尾上限按有效门控分支,而非按是否登记分支
模型几百毫秒结束音频在提交前已等待数秒对齐停顿候选、确认、提交、开始推理四个时刻

Web 与 Android 从同一场景配置生成参数。endpoint_max_utterance_ms 当前场景上限为 20000;这与“说话结束后等待多少静音”是两个控制量。

尾部数据只归一个所有者 ​

阶段拥有的数据可以做什么
收音 current可追加的尾帧继续收音,或封口创建唯一 segment_id
准备候选 prepare尚未被队列接受的预计算续说或配置变化时取消
已接受任务 job冻结的 PCM、计划、deadline独立完成;不再随下一轮 prepare 被清空
finalized已发布 Final不再异步覆盖
drained无待提交帧、无活跃任务才允许发送 terminal

队列接受任务就是所有权移交点。队列拒绝时仍由 prepare 释放。stop 与 EOF 复用同一收尾路径,不能一条等尾帧、另一条直接清空缓存。

验证所有权竞争的最小组合

覆盖已接受后立即 EOF、准备期间续说、队列满、新准备取消旧准备、角色计划变化。逐项断言尾帧进入且仅进入一个段、每个接受任务有完成或失败结果、Final 不被覆盖、terminal 不早于排空。普通顺序输入测不到这些竞争。

重复生成后的恢复 ​

重复刹车能终止循环,却可能让循环前的有效文字随错误一起丢掉。当前普通 split Final 对 repetition/length 异常先做有界二分重解;仍为 repetition 时,再保留循环前文字及一个循环单元。预览和带登记请求不套用这条恢复。

路径是否恢复约束
正常生成不改真实复述不能被当循环删除
repetition / length二分到 2 秒、最多 3 层,并保留整体重试预算只拼正常完成子段,沿用任务约束
二分后仍 repetition按规则裁剪重复尾,保留前缀单字和多字重复分别设判据,不声称内容完整
仍失败明确单段失败不将单段错误统计成整个会话断线

对应 -asr-split-repetition-recovery 与 -asr-split-repetition-trim 当前默认开启。在一段固定长会议实时回放中,这套恢复将报错从 100 次降至 1 次、相同评分口径 DER 从 50.37% 降至 40.92%;仍存在漏语音和角色投影损失,不能写成质量问题全部解决。

排查顺序 ​

先确认输入有没有进入模型,再区分原文缺字、后处理改字与发布漏字;只有输入、参数与结果身份固定后才比较时延。需要定位执行队列时进入推理调度,需要重建证据时进入回放验证。

别急,先让缓存热一下。