文本转语音模型：功能与选择指南

根据Sonix的行业趋势报告]，神经和AI生成的声音在2024年占据了文本转语音市场收入的67.90%。这衡量的是收入，而非可靠性。对于选择文本转语音模型的开发者来说，更难的问题是，语音能否准确传达应用程序发送的名称、代码、指令和情感对话。

一个好听的演示并不能回答这个问题。将模型选择视为一份输入输出契约，随后进行生产文本评估。架构、语音相似度和平均自然度都很重要，但任何一项都不能凌驾于改变听众理解的失败。

目录

• 功能、输入和输出一览
  • 在选择声音之前先确定音频合约
• 架构系列及其含义
  • 将模型卡视为管道描述
• 声音克隆、规模和语言覆盖范围
  • 将相似性与性能区分开来
• 超越 MOS 的质量指标
  • 定义你的秒表包含什么
• 构建困难文本的测试集
  • 包含误读会改变含义的文本
  • 进行可重复的比较
• 将模型与你的用例匹配
  • 在偏好之前应用硬性门槛
• 同意、披露和安全的声音使用
  • 将控制措施内置到请求路径中
  • 评估系统服务于谁
• 托管 API 或自托管开放模型
  • 比较总运营成本
  • 测试服务路径，而不仅仅是权重
• 筛选、测试和批准
  • 将集成便利性与验收分开
  • 要求明确的发布决策

功能、输入和输出概览

标准TTS是最简单的契约：提交文本并接收语音。将其用于准备好的旁白、通知以及措辞已完整的段落。可下载的文件适合编辑和缓存；流式响应可以避免等待整个音频文件。

流式TTS需要更仔细的检查。有些服务在接收到完整的文本输入后才流式传输音频，而另一些则也接受增量文本。如果助手逐步生成其回复，请确认接口支持后者，而不是假设流式传输意味着双向。

标记控制的合成增加了交付指令。SSML、发音控制和专有样式标签不可互换，因此请测试您所选模型接受的确切语法。不支持的指令可能会被忽略、拒绝或直接读出。

克隆增加了参考说话者输入，而多语言合成增加了语言覆盖。两者并非自动包含对方：多语言预设声音不一定可克隆，而克隆的声音也不一定在所有支持的语言中都可靠。

在选择声音之前，先确定音频契约

WAV是一种容器；PCM描述了一种音频表示。 未压缩的PCM（通常封装在WAV中）便于编辑和处理。电话管道需要其下游系统期望的编码、通道配置和采样率，而不仅仅是一个带有熟悉扩展名的文件。

MP3和Opus是适用于浏览器和应用程序的压缩传输选项，具体取决于客户端支持。选择您的播放器无需额外转换阶段即可解码的格式。否则，您测量的合成性能将无法描述用户所经历的延迟。

采样率指定了音频采样的频率。它影响所表示的频率范围，并且对于其他设置固定的未压缩音频，它还影响文件大小。提高输出采样率并不能修复不清晰的发音，也无法恢复模型从未生成的细节。

在集成之前，请写下契约：

• 输入限制： 接受的文本长度、支持的标记和增量输入行为。
• 声音可用性： 所需语言、方言、预设声音和自定义声音访问。
• 输出要求： 编码、采样率、通道和流式传输行为。
• 故障行为： 应用程序如何处理被拒绝的文本、中断的流和不可用的声音。

从左到右阅读表格：将您拥有的输入与您需要的输出进行匹配，然后检查用例是否适合。一个听起来很棒但需要错误交互模式的声音不应列入候选名单。

架构家族及其含义

广泛的管道区别如下图所示。

拼接系统通过组装录制好的单元来生成语音，因此其灵活性受限于可用的录音和它们之间的连接。统计参数系统则预测声学特性，然后通过声码器渲染语音，以牺牲直接重用录音为代价，换取更可控的合成流程。

WaveNet 在 2016 年的出现是一个里程碑：WaveNet 论文报告称，在其美国英语和普通话评估中，最强的现有 TTS 系统与人类语音之间的质量差距缩小了 50% 以上。这一发现确立了神经波形生成的重要性，但这并非对所有后续神经模型的普遍性能保证。

基于Token的神经网络系统预测离散的音频表示，解码器将其转换为声音。对于购买决策，请区分这种表示与服务接口：一个端到端产品仍然可以包含多个内部处理阶段。

将模型卡视为管道描述

寻找声谱图、声码器、编解码器、音频Token和说话人条件化细节。声谱图阶段后接声码器表明是声学模型管道；离散音频码则表明是基于Token的生成。训练描述有助于解释设计，但不能取代输出测试。

对于受限设备，请比较实际的内存、运行时和硬件兼容性，而不是假设旧的意味着更小，或新的意味着仅限云端。在托管部署中，请检查实际交付的延迟和控制，而不是从架构标签推断。

这种界限对于相邻任务也很重要。歌唱语音合成指南解决的是一个不同的控制问题：口语韵律不能替代明确的音乐时序和音高。

实用规则： 利用架构来理解可能的限制和有用的诊断问题，而不是在听之前就宣布赢家。

语音克隆、规模和语言覆盖

语音克隆将说话者身份与所说词语分离。 独立评估这些维度：输出可以与参考说话者相似，但传递句子的情感可能不合适。

主要的克隆途径在建立身份的方式上有所不同。

零样本克隆在没有单独的特定说话者训练任务的情况下，根据参考音频进行合成。自定义语音训练使用准备好的说话者数据集来调整模型。前者减少了设置工作；后者增加了录音、准备和训练要求，但并不能使相似性自动实现。

参考音频质量值得单独测试。背景噪音、竞争说话者、麦克风放置不一致以及截然不同的表达风格，都可能使系统难以确定应保留哪些内容。在将较差的结果完全归因于合成模型之前，请先比较干净的参考音频。

将相似性与表现分离

考虑一个假设的比较：一个简短、中性的参考音频与一个包含多种情感表达的较长参考音频。从每个音频中生成相同的积极营销语。分别询问听众，说话者是否可识别，以及积极的表达是否合适。

不要假设较长的参考音频一定会胜出。它包含更多材料，但也引入了更多变化；有用的问题是模型在遵循所请求的表现的同时是否保留了身份。

如需本主题的视听介绍，以下视频提供了另一种观看形式。

规模提供背景信息，而非最终认可。在2024的报道中，TechCrunch 报道称 BASE-large 使用了100,000小时的公共领域语音进行训练，并包含980百万个参数。这些总数并不能确定特定口音、说话者或语言的表现如何。

在检查多语言 TTS 模型列表时，将宣传的功能转化为具体的验收检查：

• 语言覆盖范围： 与流利的听众一起评估每种所需的语言和方言。
• 身份稳定性： 比较说话者在疑问句、陈述句和富有表现力的对话中的表现。
• 备用准备： 为不可用或不合适的克隆识别一个经批准的预设声音。
• 参考来源： 保留录音标识符及其相关的权限记录。

可识别的声音只有在其表达在产品的实际信息中保持可理解和适当的情况下才有用。

质量指标，不止于 MOS

基准测试可以重现，但不一定具有代表性。LJSpeech 数据集 包含 13,100 个片段，总时长约 24 小时，由一位讲英语的女性旁白录制。这对于受控比较很有用，但在此范围内的成功并不能确立在不同说话者、口音或对话风格下的更广泛表现。

平均主观意见得分（MOS）衡量听众感知的质量。 保持不同模型间的句子和听力条件一致，隐藏模型身份，并明确定义评分问题。一个被问及愉悦度的评审小组，不一定是在评估产品代码是否被正确说出。

明确你的计时器包含什么

对于 streaming，要区分首次接收到的音频和首次可听见的播放。网络传输、解码和播放器缓冲都属于用户体验，即使它们发生在模型推理之外。在诊断延迟时，两者都应记录。

对于可懂度测试，应将识别出的语音与预期的口语形式进行比较，而不是盲目地与原始输入字符进行比较。一个可接受的口语日期不会与其书面符号逐字匹配。在将识别器视为事实真相之前，请手动审查涉及姓名、数字和符号的错误。

质量平均值是对测试的描述。除非你定义产品可以容忍哪些错误，否则它不是验收标准。

将自动化检查与听力结合起来。单独的音高测量无法描述节奏、重音或强度，波形差异也并不一定意味着听众听到了有意义的变化。

同时报告 MOS、可懂度、首段音频时间和实时因子。包括模型版本、运行时环境、请求设置和测量边界，以便其他工程师能够解释结果。

构建困难文本的测试集

通用句子作为验收测试不够充分，因为它们忽略了需要解释的文本。EmergentTTS-Eval 评估了六种场景，涵盖 1,645 个样本，包括情感、韵律、语调和发音；其作者报告称，基于模型的判断与人类偏好之间存在很强的相关性。

采用这种更广泛的方法，但不要将外部基准视为您产品的测试套件。您的应用程序有其自身的词汇、格式以及错误可能带来的后果。

以下评估类别有助于揭示简单阅读段落无法发现的故障。

包含误读时会改变含义的文本

• 名称和地点： 产品名称、品牌、人名、地址和邮政编码。
• 紧凑标识符： 首字母缩略词、账户参考、产品代码和模糊的缩写。
• 结构化符号： 日期、时间、URLs、代码片段和数学公式。
• 语言变化： 外来词和混合语言段落。
• 对话意图： 问题、安抚、紧急情况、异议和带有情感色彩的对话。
• 非语音提示： 笑声、叹息和其他支持的表演指令。

对于每个项目，记录预期的读法。一个代码可能需要逐字拼读，而一个首字母缩略词可能需要作为一个词来发音。如果没有这种标注，即使听到的输出相同，听众也可能对正确性产生分歧。

进行可重复的比较

1. 收集代表性文本。 提取并匿名化生产环境中的示例，然后按类别进行标记。包括那些一旦失败将导致严重后果的罕见输入。
2. 生成可比较的输出。 在可能的情况下，保持格式、语音角色和交付指令一致。保存确切的请求和模型标识符。
3. 使用一致的听众。 请同一小组分别评估可懂度、发音和韵律的适当性。打乱模型顺序。
4. 捕获每个项目的性能。 记录首次音频播放时间（first-audio timing）和实时因子（real-time factor）以及相关文本，而不是只保留批处理平均值。
5. 更改后重复。 保留已批准的基线，并在提供商、语音配置或预处理规则发生变化时调查回归问题。

假设一个支持提示包含客户的姓氏和预约日期。一个表达优美但其中任何一项出错的句子，应该输给一个表达力较弱但准确的替代方案。

按类别和严重程度报告故障率。汇总分数可能会掩盖本应阻止部署的错误类别。

为你的使用场景匹配模型

模型最强的功能只有在支持这项工作时才有意义。下面的比较说明了不同的优先级。

对于客服，要测试真实的电话路径，而不是只审查录音棚质量的下载文件。对于有声书，要跨段落边界、说话人变化和恢复生成来听，因为孤立的句子无法检验连贯性。

无障碍评估应包含会使用输出的人，以及他们偏好的播放控制。配音需要参考表演和时序限制；教育需要针对预期的口头读法进行学科专家审核。

先应用硬性门槛，再谈偏好

如果延迟决定了交互，就先要求合适的 streaming 接口，再给声音排名。 延迟的响应无论最终质量多好，都可能让交互设计失败。

如果特定的说话人身份是硬性要求，就先取得许可，再创建评估用克隆。 别等团队已经喜欢上某个声音后，才把授权当成只在生产阶段考虑的问题。

如果代码和日期承载信息，就要优先保证它们读对，而不是好听。 把关键发音错误当作阻塞项，而不是让很高的风格分数来补偿它们。

选择原则： 先应用硬性要求，再给可接受的模型排名。别把会导致淘汰的失败平均进一个本来很有吸引力的分数里。

在查看结果之前就写下这些门槛。例如，课程旁白可能需要可靠的技术词汇，但不需要对话式 streaming；而语音助手可能需要增量文本输入，但不需要克隆。这种区分能缩小比较范围，而不必依赖一个通用排行榜。

同意、披露与安全语音使用

语音克隆是一个治理决策，而不仅仅是一个合成设置。负责任的TTS指南描述了FCC根据《电话消费者保护法》将AI生成的自动语音电话归类为人工语音，使得未经所需事先同意的受管辖电话成为非法行为。不要将其解读为对合成旁白的全面禁止，也不要解读为对所有非自动语音电话用途的许可。

普通合成旁白和身份保留克隆需要不同的操作审查。 选择一个获得许可的预设语音并不代表有权模仿可识别的个人。对于自定义语音，有记录的说话人许可应作为部署要求。

将控制措施融入请求路径

• 记录说话人许可： 将授权目的、允许渠道、使用范围以及有效期或审查条件与语音记录一同保存。
• 拒绝未经授权的模仿： 禁止未经书面许可克隆可识别的个人，并提供暂停有争议语音的方式。
• 应用披露规则： 当适用法律、平台政策或上下文要求时，标记合成语音。
• 保留可审计性： 记录模型标识符、语音标识符、请求时间和授权参考，无需不必要地复制敏感文本。
• 维护安全替代方案： 批准不旨在模仿可识别个人的备用语音。
• 保留模型元数据： 存储已披露的训练数据来源、许可证、使用限制和相关评估文档。

许可记录还需要一个撤销流程。决定谁可以禁用语音、如何处理缓存音频以及当授权变更时预定内容会发生什么。

评估系统服务对象

分别测试口音、方言和语言性能。全球平均值可能会掩盖特定说话人群体的糟糕体验，因此在收集和报告适当时，请保留群体级别结果。

治理也必须遵循路由。如果请求可以到达不同的提供商，不要假设语音授权或处理协议适用于每个目的地。将路由限制在模型、语音和处理条款的批准组合内。

这是一般操作指南，并非法律建议。在发布前，请检查适用于说话人、受众和部署地点的法律和合同要求。

托管 API 或自托管开放模型

部署方式决定了您控制什么以及您必须操作什么。 托管 API 将模型服务转移给外部运营商。自托管则让您的团队负责运行时、容量、更新和访问控制。

开放权重并不自动意味着无限制的商业用途、离线适用性或低硬件要求。在投入集成之前，请检查许可和运行时要求。同样，托管端点并不自动提供固定版本或特定的数据驻留安排。

比较总运营成本

托管部署适用于需求多变且不希望操作推理硬件的团队。在估算成本之前，请确认计费单位、并发限制以及重试处理方式。仅凭基于字符的价格并不能说明完整的应用程序账单。

自托管适用于离线操作或禁止将文本和参考录音发送到受控基础设施之外的要求。它仍然需要容量规划、监控、安全更新和可重现的发布流程。在工作站上运行的模型不一定能应对并发生产流量。

将 Qwen TTS model listing 视为候选模型的发现点，而不是其适用于特定托管安排的证明。无论您评估哪种部署方式，请确认实际的运行时、许可和接口。

测试服务路径，而不仅仅是权重

在托管和自托管候选模型上使用相同的匿名语料库。保持播放格式和测试客户端一致，然后在应用程序预期的并发和请求模式下进行测量。

记录测试是否包含启动、加载、排队和转换。否则，热启动的本地基准测试和完整的远程请求不具可比性。

如果您的测试集包含个人信息，请在传输前审查数据处理条款。即使目的地已获批准，也要删除不必要的标识符，并独立于普通应用程序文本限制对参考录音的访问。

入围、测试和签署

入围名单应表达需求，而非品牌熟悉度。保留符合输入合同、所需语言、操作限制和语音授权条件的候选模型。在花费时间试听之前，排除无法满足硬性要求的模型。

采用一个发布流程，该流程应留下可供审查的决策记录：

1. 选择兼容的候选模型。 记录每个模型为何符合所需的输入和输出。将强制性功能与偏好区分开来，以便评审人员了解哪些可以权衡取舍。
2. 运行并审查难点文本套件。 保留原始输出、听众判断和计时记录。调查关键错误，而不是接受一个有吸引力的总分。
3. 批准权利和处理条款。 验证模型许可、参考音频授权以及每个自定义语音的预期用途。为未解决的条件指定负责人。
4. 冻结已批准的配置。 在支持的情况下固定版本，保存预处理和交付设置，并在服务配置更改时要求进行回归测试。

将集成便利性与验收分开

UberLLM 通过一个与 OpenAI 和 Anthropic 兼容的 endpoint，提供对 Claude、GPT、Gemini、DeepSeek 以及图像、视频和音乐模型的访问。一个通用的 API key 和预付余额整合了访问，并且更改模型标识符支持候选模型比较，无需为每个模型单独进行提供商集成；但模型特定的语音参数仍需检查。

Qwen3 0.6B TTS 的标价为每 1K 个字符 $0.035，而其原价为每 1K 个字符 $0.0875。在预算前，请在提供商的列表中确认当前价格，并且只在符合验收标准的候选模型之间比较成本。

要求有具名的发布决策

为签署记录指定负责人，并保留已批准的音频示例。明确记录例外情况，包括任何需要预处理、备用语音或人工审查的文本类别。

即使负责评估的人员调到其他项目后，发布决策也应保持可理解性。最终检查很简单：所选模型是否通过了难点文本测试，并且同意记录是否涵盖了所有克隆语音？

---

UberLLM 提供统一的 API，用于比较和集成语音以及其他模型类型。访问 UberLLM 以检查语音候选模型，然后将您的匿名姓名、代码和情感对话通过符合您输入要求的模型运行，最后再选择生产配置。