11. 语音合成
语音合成 TTS 把文本转换成可播放的语音。它的难点不只是“发出声音”,而是读准文本、控制韵律、保持自然音色,并在真实设备上稳定播放。
TTS 分成两层问题
TTS 可以拆成“怎么读”和“怎么发声”两层。
| 层次 | 解决的问题 | 失败表现 |
|---|---|---|
| 文本前端 | 数字、日期、单位、多音字、分词 | 读错字、断错句、金额日期读法不对 |
| 声学与波形生成 | 音色、韵律、清晰度、自然度 | 机械、拖沓、破音、气声、卡顿 |
很多线上 TTS 问题并不是模型音质差,而是文本前端没处理好。例如导航播报、客服金额、设备型号、英文缩写,都需要领域规则。
文本规范化
文本规范化负责把“写给人看的文本”变成“适合朗读的文本”。
| 原文 | 需要判断的问题 |
|---|---|
| 2026-05-17 | 读日期还是读编号 |
| 3.14 | 读小数、版本号还是数学常数 |
| 100km/h | 单位读法和语序 |
| RMB 128.5 | 货币、金额、小数位 |
| 010-88888888 | 电话区号和号码分组 |
同一个字符串在不同业务里读法不同。版本号“3.10”不能读成“三点一”,金额“3.10 元”不能读成“三点十版本”。因此 TTS 前端需要业务上下文,而不是只靠通用规则。
分词、多音字和韵律
中文 TTS 要解决词边界和读音。多音字依赖上下文,“银行”的“行”读 háng,“行走”的“行”读 xíng;“银行行长”中的两个“行”都读 háng,不能把相同读音误当成对比例子。
韵律决定用户听起来是否自然:
| 韵律要素 | 作用 |
|---|---|
| 停顿 | 让长句可理解,避免一口气读完 |
| 重音 | 突出关键信息,如金额、时间、目的地 |
| 语速 | 控制信息密度,客服和导航通常不宜过快 |
| 语调 | 区分陈述、疑问、提醒和警告 |
| 情绪 | 控制品牌角色,但不能牺牲清晰度 |
长文本合成时,分句非常关键。切分太短会断裂,切分太长会首包慢、韵律漂移。
声学模型
声学模型把文字、音素、韵律和音色条件转成声学特征,例如梅尔谱。它决定一句话的大体“说法”:谁在说、语气如何、哪里停顿、哪里拉长。
这是常见的“声学特征 + 声码器”路线。现代 TTS 也可能生成 codec token,再由音频解码器产生波形,或把多个环节联合建模;韵律预测也可能包含在生成模型内部。选型时按实际模型输入输出划分模块,不能要求所有实现都部署一个独立梅尔谱模型和一个独立声码器。
常见控制项:
| 控制项 | 影响 |
|---|---|
| 说话人 | 音色和身份感 |
| 语速 | 信息密度和响应时长 |
| 音高 | 年龄感、情绪和自然度 |
| 能量 | 重音、强调和响度趋势 |
| 风格 | 客服、导航、播报、角色化表达 |
控制项不是越多越好。过多可调参数会增加测试矩阵,也容易出现某些组合下不稳定。
声码器
声码器把声学特征还原成波形。它直接影响声音质感、细节和实时性。
| 关注点 | 说明 |
|---|---|
| 音质 | 是否有金属感、毛刺、气泡声 |
| 实时率 | 合成是否快于播放速度 |
| 稳定性 | 长文本是否漂移或突然变调 |
| 算力 | 端侧设备能否长期运行 |
| 采样率 | 与设备播放链路是否匹配 |
端侧 TTS 常常需要在音质、模型大小、功耗和首包延迟之间取舍。云端 TTS 可以使用更大模型,但要承担网络延迟和可用性风险。
主流模型的三条路线
“声学模型 + 声码器”是最早的分工。2024 年以后,开源 TTS 大多换成了用语言模型生成语音的做法,大致分三条路线:
| 路线 | 做法 | 代表模型 |
|---|---|---|
| 声学模型 + 声码器 | 文本 → 梅尔谱 → 波形,体积小、稳定,但需要预置音色 | Kokoro(8200 万参数)、VITS/Piper、Matcha |
| 语言模型 + 流匹配 | LLM 先生成语义 token,再用流匹配生成梅尔谱,最后过声码器 | Fun-CosyVoice 3、GLM-TTS、Step-Audio-EditX、IndexTTS2 |
| 纯语音 token 语言模型 | LLM 直接预测多码本音频 token,轻量解码器还原波形,省掉第二阶段 | Qwen3-TTS、MOSS-TTS、FireRedTTS-2 |
另有两类:F5-TTS、MaskGCT 这类非自回归扩散或流匹配模型,一次生成整句;VoxCPM、VibeVoice 用自回归模型逐步生成连续向量,不经过离散 token。语言模型路线的训练过程见模型训练系列的第 16 篇。
后两条语言模型路线的共同点是零样本克隆:给 3—10 秒参考录音,就能用这个声音读任意文本。它们也天然适合流式,按 token 块生成、边生成边播放。下表是 2026 年 10 月中文场景常被拿来比较的开源模型,首包延迟都是厂商自己在特定显卡上测的:
| 模型 | 发布 | 中文与方言 | 流式首包(官方) | 权重许可证 |
|---|---|---|---|---|
| Fun-CosyVoice 3(0.5B) | 阿里通义,2025-12 | 9 种语言,18 种以上方言口音 | 约 150 ms | Apache-2.0 |
| Qwen3-TTS | 阿里通义千问,2026-01 | 10 种语言,北京、四川方言音色 | 最低约 97 ms | Apache-2.0 |
| FireRedTTS-2 | 小红书,2025-09 | 中英日韩等,最多 4 人对话 | 约 140 ms | Apache-2.0 |
| MOSS-TTS / MOSS-TTSD | 复旦 OpenMOSS,2026 | 31 种语言;TTSD 生成最长 60 分钟多人对话 | 实时版约 180 ms | Apache-2.0 |
| VoxCPM2 | 面壁智能,2026-04 | 30 种语言,9 种方言,48 kHz 输出 | 支持流式 | Apache-2.0 |
| IndexTTS2 / 2.5 | 哔哩哔哩,2025-09 / 2026-08 | 中英为主,情感可单独控制 | — | 哔哩哔哩自定义许可 |
| GLM-TTS | 智谱,2025-12 | 中文,夹杂英文 | 支持流式 | Apache-2.0 |
| Kokoro-82M | hexgrad,2025-01 | 8 种语言,54 个预置音色,不能克隆 | — | Apache-2.0 |
| F5-TTS、MaskGCT、Spark-TTS | 2024—2025 | 中英 | 非流式为主 | 非商用 |
选型时有三点容易踩坑:
- 代码开源不等于权重可商用。F5-TTS、MaskGCT、Spark-TTS 的权重都是非商用许可(Spark-TTS 从 Apache 改成了 CC-BY-NC-SA);有的模型对用户规模设了门槛(如 Higgs Audio v2 超过 10 万年活跃用户要另签协议)。
- 首包延迟不能直接比。各家测试的显卡、并发、文本长度都不同,要在自己的设备和并发下重测。
- 零样本克隆的能力本身就是风险。微软 VibeVoice 发布后不久就因滥用问题从仓库撤下了 TTS 代码。产品要用的克隆功能,要有授权流程和防冒用措施,见下文。
端侧部署时,sherpa-onnx 目前提供 VITS/Piper、Matcha、Kokoro、ZipVoice 等模型;大模型路线的 TTS 多数仍在服务器上运行。商用 API 迭代很快,OpenAI 的 gpt-4o-mini-tts 已经宣布在 2027 年 1 月下线,接入前要核对当前的模型名和下线时间。
流式合成
语音助手和大模型对话需要流式 TTS。流式合成的目标是尽快开始播第一句话,同时避免后续断续。
| 策略 | 作用 | 风险 |
|---|---|---|
| 按标点切片 | 简单稳定 | 大模型输出没标点时首包慢 |
| 按短语切片 | 首包快 | 切错会破坏韵律 |
| 缓冲几段再播 | 播放更稳 | 响应变慢 |
| 可中断播放 | 支持用户打断 | 需要清理 TTS 和播放器状态 |
如果文本来自大模型流式输出,不应每来几个字就合成一次。更稳的做法是等待短语或语义边界,再启动合成。CosyVoice 2/3、Qwen3-TTS 等模型支持“双向流式”,可以一边接收文本一边输出音频,减少了等待整句的时间;但文本太碎时韵律仍会受影响,接入后要听一遍长回答的停顿和语调。
音色和声音克隆
音色是产品体验的一部分。客服、导航、儿童故事、虚拟人对音色要求不同。声音克隆可以用少量样本生成相似音色,但要处理授权、隐私和滥用风险。
| 场景 | 建议 |
|---|---|
| 品牌助手 | 使用授权清晰的固定音色 |
| 客服外呼 | 优先清晰、稳定、可懂,不追求强角色化 |
| 儿童内容 | 语速、音高、情绪要更保守 |
| 个人声音克隆 | 明确授权,增加防滥用策略 |
高风险场景不应让合成声音冒充真实个人身份。
播放侧适配
TTS 在耳机里好听,不代表在小音箱、车机或手机外放上好听。设备播放链路会改变最终效果。
| 设备约束 | 处理 |
|---|---|
| 小喇叭低频弱 | 限制低频,避免发闷和破音 |
| 功放余量小 | 控制峰值和响度,避免削顶 |
| 播报和音乐混放 | 统一响度策略,必要时 ducking |
| 播放时要继续听用户 | TTS 必须进入 AEC 播放参考 |
| 多语言混读 | 前端要识别语言和缩写读法 |
评估指标
| 指标 | 看什么 |
|---|---|
| 读错率 | 数字、单位、多音字、英文缩写是否正确 |
| 自然度 | 韵律、停顿、语调是否像真实说话 |
| 可懂度 | 噪声和小喇叭下是否听得清 |
| 首包延迟 | 从提交文本到开始播放的时间 |
| 实时率 | 合成速度是否满足实时播放 |
| 播放稳定性 | 长文本是否断续、爆音、变调 |
TTS 评估要按场景建立样本。导航要测地名、距离、路口;客服要测金额、日期、条款;智能助手要测短回复、长回复和打断。
常见问题
| 现象 | 优先排查 |
|---|---|
| 数字读错 | 文本规范化和业务上下文 |
| 多音字错 | 分词、词典、上下文模型 |
| 长句不自然 | 分句和韵律预测 |
| 首句慢 | 流式切片、模型冷启动、网络 |
| 播放破音 | 响度、限幅、功放、扬声器 |
| 播放时误唤醒 | TTS 是否进入 AEC 参考 |
总结
TTS 的质量来自文本前端、声学模型、声码器和播放链路共同作用。工程上要把“读准、自然、低延迟、可打断、设备上不破音”一起验收,而不是只听离线生成的一段样音。
下一篇:12. sherpa-onnx 端侧语音推理框架,把前面讲到的 VAD、识别、合成模型放到本地设备上运行。合成模型怎样训练见模型训练系列第 16 篇。
