断句、收尾与逐句时延
“已经停下说话,文字还不出来”和“文字已经出来,停止按钮还在转”是两类等待。前者看末音到 Final,后者看 stop/EOF 到 terminal。先把这两个终点分开,再判断该调 VAD、队列还是模型。
一句结束后还在做什么
| 区间 | 等待的内容 | 优先检查 |
|---|---|---|
| 真实末音 → VAD 封口 | 结束确认、尾部保留、最大段长 | 实际 start 帧、段起止样本 |
| 提交 → worker 开始 | 会话内与全局排队 | enqueue/start/end,持续负载下队列趋势 |
| worker 开始 → Final | 解码、必要角色覆盖、顺序发布 | 模型用时与依赖关键路径 |
| stop/EOF → terminal | 尾段提交、排空已接受任务 | current/pending/in-flight 的最终归属 |
Preview 可以在定稿前展示和修改,不等待最终身份授权,可能包含非目标词。测预览节奏只计有新文字的模型假设,排除重复事件与从 Final 派生的显示事件。事件发得更密,不代表模型识别更快。
尾字丢失:移动哪条边界才有效
一轮完整连续流中,弱尾音在保留 40 ms 时没有进入模型。对照只移动一个边界,结果如下:
| 操作 | 观察 | 说明 |
|---|---|---|
| 起点提前 1 秒 | 末字仍丢 | 增加前导上下文没有解决问题 |
| 终点延后 0.5 秒 | 末字恢复 | 结束边界裁掉了有效语音 |
| 降低 VAD 阈值 | 恢复尾音,但多句合并 | 修复一个边界的代价扩散到分段结构 |
| 尾部保留 800 ms | 该测试触发生成循环 | 更多尾音不等于更可靠 |
| 尾部保留 400 ms | 在该矩阵取得可接受折中 | 当前默认;仍需跨场景回归 |
操作入口是 vad_keep_tail_ms。验收回放完整会话,比较 Final worker 实际收到的 PCM,同时查尾字、合句、重复、角色和时延。把句子剪成独立文件会重置 VAD 状态,滑动预览窗口也不能代替 Final 输入。
起音太慢,会让短指令根本进不了模型
一个短词只有 310 ms 连续语音高于阈值,起音却要求连续 400 ms,便永远不能触发。此时调解码没有意义。
| 同一短句的起音要求 | 阈值 0.70 | 阈值 0.50 | 阈值 0.45 |
|---|---|---|---|
| 400 ms | 空 | 空 | 有文字 |
| 300 ms | 有文字 | 有文字 | 有文字 |
| 200 ms | 有文字 | 有文字 | 有文字 |
当前 debugger/scenarios.json 为短指令类设置 200 ms/0.45,长语音、填单、会议设置 300 ms/0.45。场景间的断句静音不同,填单与会议保留 1200 ms;不要为了“更抗噪”统一提高起音时长和概率阈值。更高阈值曾增加真实语音漏检,纯噪声对照却没有显示相应收益。
配置要看实际发送值
| 容易误判的地方 | 实际发生过的故障 | 验证动作 |
|---|---|---|
| 服务端默认 20 秒 | 前端显式传 8 秒,默认不生效 | 刷新页面后核对 start 中 endpoint_max_utterance_ms |
| 文件已经部署 | 浏览器仍运行旧 JS | 新建会话,查真实帧,不只查静态文件 |
| 存在登记 ID | 门控已关,却仍跳过长静音收尾上限 | 按有效门控分支,而非按是否登记分支 |
| 模型几百毫秒结束 | 音频在提交前已等待数秒 | 对齐停顿候选、确认、提交、开始推理四个时刻 |
Web 与 Android 从同一场景配置生成参数。endpoint_max_utterance_ms 当前场景上限为 20000;这与“说话结束后等待多少静音”是两个控制量。
尾部数据只归一个所有者
| 阶段 | 拥有的数据 | 可以做什么 |
|---|---|---|
| 收音 current | 可追加的尾帧 | 继续收音,或封口创建唯一 segment_id |
| 准备候选 prepare | 尚未被队列接受的预计算 | 续说或配置变化时取消 |
| 已接受任务 job | 冻结的 PCM、计划、deadline | 独立完成;不再随下一轮 prepare 被清空 |
| finalized | 已发布 Final | 不再异步覆盖 |
| drained | 无待提交帧、无活跃任务 | 才允许发送 terminal |
队列接受任务就是所有权移交点。队列拒绝时仍由 prepare 释放。stop 与 EOF 复用同一收尾路径,不能一条等尾帧、另一条直接清空缓存。
验证所有权竞争的最小组合
覆盖已接受后立即 EOF、准备期间续说、队列满、新准备取消旧准备、角色计划变化。逐项断言尾帧进入且仅进入一个段、每个接受任务有完成或失败结果、Final 不被覆盖、terminal 不早于排空。普通顺序输入测不到这些竞争。
重复生成后的恢复
重复刹车能终止循环,却可能让循环前的有效文字随错误一起丢掉。当前普通 split Final 对 repetition/length 异常先做有界二分重解;仍为 repetition 时,再保留循环前文字及一个循环单元。预览和带登记请求不套用这条恢复。
| 路径 | 是否恢复 | 约束 |
|---|---|---|
| 正常生成 | 不改 | 真实复述不能被当循环删除 |
| repetition / length | 二分到 2 秒、最多 3 层,并保留整体重试预算 | 只拼正常完成子段,沿用任务约束 |
| 二分后仍 repetition | 按规则裁剪重复尾,保留前缀 | 单字和多字重复分别设判据,不声称内容完整 |
| 仍失败 | 明确单段失败 | 不将单段错误统计成整个会话断线 |
对应 -asr-split-repetition-recovery 与 -asr-split-repetition-trim 当前默认开启。在一段固定长会议实时回放中,这套恢复将报错从 100 次降至 1 次、相同评分口径 DER 从 50.37% 降至 40.92%;仍存在漏语音和角色投影损失,不能写成质量问题全部解决。
排查顺序
先确认输入有没有进入模型,再区分原文缺字、后处理改字与发布漏字;只有输入、参数与结果身份固定后才比较时延。需要定位执行队列时进入推理调度,需要重建证据时进入回放验证。
