Skip to content

约 6 分钟阅读

共享热词召回与请求隔离 ​

会议里出现一个专业词,模型写成了同音词。此时先区分三件事:词是否被选中、是否进入本次提示、模型看见后是否仍然写错。它们分别对应召回、请求传递和解码能力,补词表只能解决第一类问题的一部分。

两条路径如何使用热词 ​

截至 2026-10-18,普通 Final 与参考条件化 TS-ASR 共用解析能力,纠错方式却不同。图中上半部是普通分句路径,下半部是目标路径;预览不走普通 Final 的二次重解。

普通 Final 的拼音补召与目标路径的受限纠正

环节普通分句 Final目标 TS-ASR
第一遍解码显式热词 + 当前场景允许的召回词目标约束 + 热词,保留登记参考
拼音补召内置词未进入提示、原文出现同音异字时,最多补 8 个词重解一次不进入这条二次重解路径
接受条件第二遍新增拼出候选词,且字符数不少于第一遍的 80%使用目标路径自己的受限同音纠正
失败后保留第一遍;不追加直接同音改写歧义、不满足锚点或不支持的片段保留原文
最后一步ITN 与逐块审核,保护热词字形纠正后进入 ITN,不补造漏掉的语音

字符数门槛只是二次结果的止损条件,不是语义完整性的证明。两遍结果仍需用人工参考检查删除、插入与替换。

沿着一个错词定位 ​

以词库中的“限时办结”为例,下表给出不同证据对应的动作。例子用于说明排查分支,不承诺每段音频都有相同结果。

观察到的事实问题位于哪里下一步
词库有词,本次提示没有声学召回未选中,或被场景/预算排除检查有效池、实际提示和预算;普通 Final 可拼音补召
显式只传这一条后识别正确模型有能力,第一遍条件不足对照单词提示与混合提示,确认是否需要补召
本次提示已有该词,仍写成同音词模型看见条件后仍未采用当前补召会排除它;不能靠反复加同一个词解决
模型原文正确,Final 字形变坏解析、纠正或 ITN对照原文与各层输出,定位首次变化

曾经普通 Finalizer 传了热词、目标 Finalizer 却只带固定提示词,共享解析器修复了这类遗漏。它证明的是传递一致,不能据此宣称两种模型的热词准确率一致。

为什么保留重解,回退直接改写 ​

拼音补召让模型重新听同一份 PCM。当前实现只处理不在第一遍提示里的内置词,不扫描十万级客户池,不处理预览或带登记的请求,也不无限重试。对应入口是 primary.Finalizer.homophoneCandidates 和 adoptHomophoneRedecode,开关 -asr-homophone-redecode 默认开启。

方案受控验证结论
拼音补召 + 一次重解一组 55 条合成专业词样本从 43 条命中增至 48 条;1241 个 Final 中触发 8 次、采用 5 次,每次约增加 0.47 秒保留;结果只覆盖该样本与构建,不能外推到全部真实录音
重解未采用后直接同音改写同组仍为 48/55;通用 56 条中新增 2 处误替换,目标样本无变化已回退,不是当前推荐配置

误替换的关键在于文字边界:“模型是”中跨词的“型是”也与“刑事”同音。仅凭发音和词库存在,无法证明这里应替换。更隐蔽的问题是执行位置:已进提示却识别错误的词被补召排除,挂在补召失败之后的改写根本碰不到这些目标错误,反而改坏了通用句子。

同音不是替换授权

普通路径的直接同音改写候选已回退。目标路径原有的受限纠正仍是另一套机制,不能把这次回退解释成所有路径都取消纠正。

共享资源与请求数据分开存 ​

共享对象保存客户端、只读配置和词库快照。每个请求单独保存 PCM、pool ID、显式词、召回结果和模型提示;重试保留原始约束与截止时间。

数据使用范围常见错误
当前子段 PCM当前请求的声学召回多人子段复用父段所有召回词,给无关角色错误先验
登记参考目标条件与身份验证把登记音频中的词召回到当前会议
内置池按场景决定是否参与声学召回内置池全局开启,使原本空池的普通请求也被无关词诱导
客户池客户所选 pool ID,对应独立文件与缓存与内置池混存,清空客户池时破坏内置资源
新快照构建成功后原子替换先清空旧池,再因坏文件重载失败

内置池的声学召回场景限制与普通 Final 的拼音索引补召是不同入口:前者按目标/参考条件筛选有效池,后者在普通最终文本上查内置词的拼音。不能看到内置池不参与该场景声学召回,就推断普通 Final 不会使用任何内置词。

Top-K、长度与超时分别控制 ​

Top-K 只表示排名,不表示相关。相关与无关音频的召回分数曾明显重叠,尚无可靠全局分界;分数下限机制存在,但默认关闭。原生 RAG 使用 CPU/OpenBLAS,不应和角色、声纹设备图合并计算负载。

控制对象当前边界验证方式
提示词规模条目上限与字符预算分别生效;字符预算 0 表示不限制固定条目数、改变词长,检查截断与质量
可选召回耗时从请求剩余时间分出预算,为解码预留时间编码/检索超时时保留显式词
必需目标约束不随召回失败降级参考、目标条件与已启用门控始终保留
空池判断当前场景的有效池为空才跳过编码空池后新增词,下一请求可见

实时检索与词库导入使用不同 worker,避免大批文本编码堵住语音。缓存键绑定规范化词条与模型身份,换模型后旧向量失效。

ITN 只接受有依据的改动 ​

语音识别正确的“一次性”“快一点”,不能为了数字规整变成“1次性”“快1点”。当前 textproc/itn_guard.go 按字对齐原文与 ITN 输出,逐个变化块决定接受或退回;号码、数数另走专用规则。

输入类型处理目标反例检查
姓名、术语、排行保留词内汉字数字与提示词字形“王一鸣”“一号楼”不能被全局替换拆坏
日常表达拒绝无依据的单字数字化及新增符号“一次性”“快一点”保留自然表达
时间与单位数字可以规整,单位保留中文不把“十分钟”机械改成 10min
口述长号码保留全部数字和顺序检查跨角色切点、标点、短号码碎片
连续数数利用递增与“十”等证据判定不能把分机号当数数,也不能补写模型漏掉的项
目标路径受限纠正的具体条件

CorrectHotwords 只在已有文本上匹配 2~16 个汉字的等长片段。同一拼音有多个字形候选时保持原文;三个字及以上完全同音可无共享汉字,两字词和近音要求同位置字符锚点。近音还要求至少三字、仅一个音节不同且韵母相同、候选唯一。纠正在 ITN 之前执行,不负责补回缺失音频。

验收闭环 ​

固定 PCM、提示词、池快照和模型版本,同时保留模型原文、第二遍结果、纠正结果和 Final。至少使用命中词、已进提示但仍错的词、跨词同音、无关音频、空池后新增、多池并发六类用例。日志记录触发次数、采用率、耗时与 session/trace;对外分析只展示合成词句和数值,不带原始词库或真实身份信息。

别急,先让缓存热一下。