Skip to content

约 7 分钟阅读

角色证据与目标说话人识别 ​

“谁在说话”包含两个问题:会话内哪些区间属于同一个人,以及某个区间是否属于预先登记的目标说话人。前者使用角色分离和跨窗关联,后者需要登记参考及目标条件。把匿名槽位直接当目标身份,会同时破坏角色稳定性和过滤正确性。

先分清三个身份对象 ​

对象回答什么不能代表什么
模型活动通道这段时间哪个通道在发声现实姓名、登记说话人
对外角色 rl本句可以确认归属的会话角色不确定区间也必须猜一个人
登记参考待识别声音是否符合指定目标全部匿名通道的身份表

从模型通道到会话角色 ​

Nemotron-3-Diarization 持续产生角色活动区间。当前模型保留通道路径按模型身份向对外编号投影,对外编号在首次发布无歧义文字时保留,不能因为编号连续就认定身份正确。其他聚类后端可能发生合并、拆分或槽位复用,需要独立的历史关联策略,不能混写成当前模型必经步骤。

句级区间要有足够的单人证据才发布角色。当前 speakerInInterval 要求主通道覆盖至少 320 个样本,其他通道均少于 320 个样本;在 16 kHz 下对应 20 ms。一个句子横跨多个人,即使某人占比最高也可能输出 rl=0。0 表示无法确定,不能沿用上一人的编号填补。

speaker_revision 表达可修订时间线,speaker_index 已投影为对外角色号减一;消费者按版本替换指定区间,不是把模型原始槽位当作对外身份。句级 Final 保持已发布字段不变,两种表达分别使用。

首句缺乏历史参考时,强制映射为角色一只是让字段非零。同一人返回、相似音色双人和重叠区都是这种策略的反例。判断标准是“同一真实身份在对应时间区间保持关联”,而不是编号连续或总人数正确。

为什么不能直接换整段角色模型 ​

增量角色证据与整段角色模型的输出时机差异

检查项Nemotron-3 当前链路MOSS 整段候选
会话中途有角色覆盖吗随窗口推进EOF 前不产生可用区间
逐句 Final 能在预算内获得证据吗可以推进,仍需测超时与歧义等待超时,回退未知
有界 PCM 队列能持续排空吗随处理推进累积至队列满,影响整个会话
当前结论正式兼容路径插件与实验包存在,端到端不通过

独立模型分得更多人,不代表可插入现有实时协议。该候选的 10 场对照中全部没有对外角色,8 场会话异常,但 worker 本身正常结束。决定性问题是增量产出合同不匹配,并非换个超时值就能解决。需要重新设计离线任务或中途结果机制后再评估。

Nemotron-3 本身有 8 个角色槽位的架构上限;超过此范围不能靠提高 worker 数解决。人数在范围内仍有混淆,也不能由“已达上限”这一解释包办。

角色核心与极短边缘 ​

角色时间线与 VAD 父段求交后,可能得到极短子段。前处理使用窗口、步长和 padding,非空波形也可能不足以生成有效特征。直接提交会产生特征提取错误;简单丢弃又可能损失尾字。

优先判断该残片是否只是相邻角色核心的边缘。若时间连续且身份证据一致,将其并入核心;存在换人或重叠证据时不能跨身份合并。必要的补零只用于满足模型输入形状,输出仍使用原始样本区间,补零不进入角色历史。

处理方式适用条件必须检查
并入相邻核心同身份、区间连续、边界证据允许首尾字、原始时间范围
输入 padding已确认模型最小长度约束特征有效、时间轴不延长
保留未知或明确失败无法安全合并、身份冲突不吞掉其他已确认子段

最小长度由具体模型与前处理决定,不能按一个通用毫秒值裁掉所有短语音。

Speaker VAD 与主 VAD 的区别 ​

TEN-VAD 判断是否存在语音,Speaker VAD 判断语音与登记参考是否匹配。两套阈值对应不同分数,不能复制数值或互相推导。普通模式不启用目标门控;目标模式的波形门控是独立可选能力,当前前端默认关闭。TS-ASR 的参考条件不随门控关闭而移除。交替、重叠和弱音分别回归,不能把门控通过等同文本完整。

缓存的是精确输入上的声学证据,而不是永久放行决定。请求变长、参考更新或策略变化后,按当前条件重新决策。缓存键至少覆盖 PCM 摘要、参考身份/版本、模型版本与证据范围;失败、取消和证据不足不写成成功缓存。

TS-ASR 的 learned SEP 输入合同 ​

目标说话人 ASR 使用登记参考和待识别混合语音。支持 learned SEP 的模型在编码表示之间插入训练得到的分隔向量,不应随意替换成波形静音或字符串提示。固定长度参考如何截取、不足如何处理,都要与训练及前处理合同一致。

参考编码、learned SEP与混合音频编码的装配合同

多模态占位符长度必须等于实际编码长度。设参考特征帧数为 R,混合语音为 M,编码器输出长度函数为 E,目标输入长度为 E(R) + 1 + E(M)。普通输入则按自身编码规则计算。分窗和卷积取整使 E(R + M) 不保证等于 E(R) + E(M),再漏掉 SEP 就会造成占位符错位。

只为演示取整,假设一个编码器有 E(n)=ceil(n/2):参考与混合输入各 3 帧时,分开编码再加 SEP 得到 2 + 1 + 2 = 5 个位置;把原始帧数合并计算却只有 E(6)=3。真实模型不能照抄这个长度函数,应按实际卷积、分窗和有效长度计算。

校验应覆盖参考边界、不同混合长度、动态批次,以及 SEP 权重确实加载。仅设置 target_speaker=true 不能证明这条路径执行;需要核对实际输入、分隔表示和模型能力。登记参考缺失时返回明确失败,不能自动切到普通识别并放开目标约束。

目标短句出现重复生成时,机械二分可能破坏目标上下文。可采用原截止时间内的有界重试,保持相同参考、PCM、目标参数和热词提示;超过预算明确结束,不无限重试,也不删掉重复文字后宣称识别成功。

登记参考的持久化与删除 ​

登记首先要有有效语音,而非仅有足够文件时长。当前注册筛查有效语音量、过弱电平与削波;参考前 3 秒中语音不足一半时,才从首词前 100 ms 开始连续取参考。无条件移动或拼接参考窗口曾让正常样本退化,因此保留正常参考的原边界。

声纹向量能参与身份比对,却不能替代 TS-ASR 所需的参考波形。只保存向量会造成登记状态在重启后仍存在、目标模型却无法构造输入的故障。需要跨重启恢复时,由明确的保存选项控制规范化参考的持久化;当前参考保存上限为 3 秒,不因此保存会话音频。

持久参考的密钥、删除与恢复约束

持久参考采用 AES-256-GCM,随机 nonce,AAD 绑定格式版本和登记 ID。32 字节密钥以 0600 权限保存在独立状态路径,与密文共同保留。已有密文而密钥缺失时明确失败,自动生成新密钥只会把不可恢复的数据伪装成新状态。

删除或替换先写入持久删除标记,再移除旧密文;启动恢复必须读取标记,避免删除到一半时崩溃、旧身份在重启后复活。验收覆盖保存后重启、缺失密钥、密文损坏、删除中断和替换中断。登记的多段参考应来自不同录音,重复提交同一段三次不能增加参考多样性,应拒绝重复内容。

参考存在并不保证目标缺席时输出为空:已经出现输入携带参考、实际运行 TS-ASR,仍输出非目标短语的反例。正例保留率与负例误输出率分别统计;门控默认关闭也不能被解读成没有目标条件。

技术选型与回归 ​

全量转写选择普通 ASR;多人转写增加角色区间及跨窗身份关联;指定说话人转写选择参考条件化 TS-ASR,并验证门控。角色模型提供证据,不替代参考条件。重叠语音不能按匿名槽位粗裁后宣称目标输入完整。

身份回归至少包含同一人返回、首次弱音、相似音色、短插话和重叠;目标回归增加纯目标、纯非目标与交替语音。文本、身份和协议分别断言,防止一个非零角色字段遮住漏字或误放行。

别急,先让缓存热一下。