如何验证TTS质量？主观评测+客观指标双维度分析

在语音合成（Text-to-Speech, TTS）系统开发与部署过程中，如何科学、全面地评估合成语音的质量，是决定产品体验和工程落地效果的关键环节。尤其在中文多情感语音合成场景中，语调、情感表达、发音自然度等维度远比标准单音色合成复杂。本文以基于ModelScope Sambert-Hifigan 中文多情感模型构建的 Web 服务为实践背景，深入探讨 TTS 质量评估的两大核心维度：主观评测方法与客观评价指标，并结合实际项目提供可落地的评估方案。

🧠 为什么需要双维度评估？

传统的 TTS 系统常依赖“听起来还行”这类模糊判断，但随着应用场景向客服播报、虚拟主播、有声阅读等领域延伸，对语音自然度、情感表现力和一致性要求越来越高。仅靠听觉感受难以量化差异，而纯数字指标又可能脱离真实体验。

✅ 双维度评估的价值在于： -主观评测捕捉人类感知的真实反馈，反映“好不好听”、“像不像人说的” -客观指标提供可复现、可对比的量化数据，支撑模型迭代与A/B测试 - 二者结合，形成从“用户感知”到“工程优化”的闭环

🎯 场景设定：Sambert-Hifigan 中文多情感 TTS 服务

本文所有分析均基于以下技术栈实现的服务环境：

• 模型架构：Sambert-Hifigan（ModelScope 开源）
• 语言支持：中文（含多情感控制）
• 部署方式：Flask 封装 API + WebUI 前端交互
• 运行环境：已修复datasets(2.13.0)、numpy(1.23.5)与scipy(<1.13)的版本冲突，确保推理稳定
• 输出能力：支持长文本输入，生成高质量.wav音频文件

该服务不仅可用于在线语音合成，也为质量评估提供了标准化的测试平台。

🧪 一、主观评测：让用户“听出来”的质量

主观评测是 TTS 质量评估的“黄金标准”，它直接衡量人类听众对合成语音的感知质量。

1. 核心评测维度设计

针对中文多情感场景，应重点关注以下五个维度：

| 维度 | 描述 | |------|------| |自然度 (Naturalness)| 听起来是否像真人说话，有无机械感、卡顿或断句异常 | |可懂度 (Intelligibility)| 发音是否清晰，词汇能否被准确识别 | |情感匹配度 (Emotion Alignment)| 所选情感（如高兴、悲伤、愤怒）是否与语音语调一致 | |韵律流畅性 (Prosody)| 重音、停顿、语速变化是否合理，是否有“平读”现象 | |音色稳定性 (Voice Consistency)| 同一角色下音色是否统一，有无突变或杂音 |

💡 建议采用5分制李克特量表（Likert Scale）进行打分： - 1分：极差，完全不可接受
- 5分：优秀，几乎无法分辨为合成语音

2. 主观评测实施流程

✅ 步骤一：构建测试语料库

选择覆盖多种句式、情感标签和语义类型的文本样本，例如：

[情感:高兴] 今天真是个好日子，阳光明媚，心情也跟着灿烂起来了！ [情感:悲伤] 外面下着雨，我一个人坐在窗边，回忆着那些再也回不去的时光。 [情感:正式] 根据公司年度财报显示，本季度营收同比增长18.7%。

建议每类情感至少准备10条不同长度文本（短句、中句、长段落），总样本数 ≥ 50。

✅ 步骤二：组织听测人员

• 至少招募10名母语为中文的非技术人员
• 避免训练偏差：不提前告知哪些是合成语音
• 控制环境：使用耳机在安静环境下播放

✅ 步骤三：执行 MOS 测试（Mean Opinion Score）

MOS 是国际通用的语音质量主观评分方法。操作如下：

1. 随机播放合成语音片段（每段 5~15 秒）
2. 听众根据上述五个维度进行独立打分
3. 计算平均得分（通常保留一位小数）

🔢 示例结果： - 自然度：4.2 - 情感匹配度：3.9 - 可懂度：4.6 - 总体 MOS：4.2

📌行业参考标准： - MOS < 3.0：需重大优化 - 3.0 ~ 3.5：基本可用 - 3.5 ~ 4.0：良好体验 - > 4.0：接近真人水平

✅ 步骤四：收集定性反馈

除打分外，鼓励用户提供文字反馈，例如： - “这句话听起来像是机器人在念稿” - “悲伤情感的语调太轻，缺乏沉重感” - “‘增长’这个词发音有点含糊”

这些反馈能精准定位模型缺陷。

📊 二、客观指标：用数据“算出来”的质量

虽然主观评测最贴近用户体验，但成本高、周期长。客观指标则适合自动化测试、持续集成（CI）和模型迭代对比。

1. 常用客观评价指标一览

| 指标 | 全称 | 适用场景 | 特点 | |------|------|----------|------| |MCD| Mel-Cepstral Distortion | 音频相似度 | 衡量频谱差异，越低越好 | |SSER| Spectral Slope Error Rate | 频谱斜率误差 | 反映音质清晰度 | |F0 Correlation| 基频相关性 | 韵律评估 | 判断语调是否自然 | |Word Error Rate (WER)| 词错误率 | 可懂度评估 | 结合ASR模型计算 | |PESQ / POLQA| 感知评估算法 | 通话级音质 | 需参考原始语音 |

我们重点介绍在本项目中最实用的三项：MCD、F0 Correlation、WER。

2. 实战：基于 Python 的客观指标计算

以下代码展示了如何使用librosa、python_speech_features和jiwer等库计算关键指标。

import librosa import numpy as np from python_speech_features import mfcc from scipy.spatial.distance import euclidean from fastdtw import fastdtw from jiwer import wer import speech_recognition as sr def compute_mcd(ref_wav, syn_wav, n_mfcc=13): """计算 Mel Cepstral Distortion""" y_ref, sr_ref = librosa.load(ref_wav, sr=None) y_syn, sr_syn = librosa.load(syn_wav, sr=None) # 提取 MFCC mfcc_ref = mfcc(y_ref, samplerate=sr_ref, numcep=n_mfcc) mfcc_syn = mfcc(y_syn, samplerate=sr_syn, numcep=n_mfcc) # 使用 DTW 对齐序列 distance, path = fastdtw(mfcc_ref, mfcc_syn, dist=euclidean) mcd = distance / len(path) return round(mcd, 3) def compute_f0_correlation(ref_wav, syn_wav): """计算基频 F0 相关性""" y_ref, sr_ref = librosa.load(ref_wav, sr=None) y_syn, sr_syn = librosa.load(syn_wav, sr=None) f0_ref, _, _ = librosa.pyin(y_ref, fmin=50, fmax=500, sr=sr_ref) f0_syn, _, _ = librosa.pyin(y_syn, fmin=50, fmax=500, sr=sr_syn) # 对齐长度 min_len = min(len(f0_ref), len(f0_syn)) f0_ref = f0_ref[:min_len] f0_syn = f0_syn[:min_len] # 过滤无效值 valid_idx = ~(np.isnan(f0_ref) | np.isnan(f0_syn)) if np.sum(valid_idx) < 2: return 0.0 corr = np.corrcoef(f0_ref[valid_idx], f0_syn[valid_idx])[0, 1] return round(corr, 3) def compute_wer(ref_text, syn_wav): """通过 ASR 识别合成语音，计算 WER""" recognizer = sr.Recognizer() with sr.AudioFile(syn_wav) as source: audio = recognizer.record(source) try: recognized_text = recognizer.recognize_google(audio, language="zh-CN") error = wer(ref_text, recognized_text) return round(error, 3) except Exception as e: print(f"ASR failed: {e}") return None # 示例调用 mcd_score = compute_mcd("ground_truth.wav", "synthesized.wav") f0_corr = compute_f0_correlation("ground_truth.wav", "synthesized.wav") wer_score = compute_wer("今天天气真好", "synthesized.wav") print(f"MCD: {mcd_score}") # 越低越好，理想 < 3.0 print(f"F0 Corr: {f0_corr}") # 越高越好，理想 > 0.7 print(f"WER: {wer_score}") # 越低越好，理想 < 0.1

⚠️ 注意事项： - MCD 对预处理敏感，建议统一采样率（如 24kHz） - WER 依赖外部 ASR 模型精度，建议使用高准确率引擎（如阿里云ASR） - F0 提取易受噪声影响，确保音频干净

3. 客观指标解读与阈值建议

| 指标 | 优秀范围 | 可接受范围 | 风险提示 | |------|---------|------------|----------| |MCD| < 2.5 | 2.5 ~ 4.0 | > 4.0 表示频谱失真严重 | |F0 Correlation| > 0.75 | 0.6 ~ 0.75 | < 0.5 说明语调生硬 | |WER| < 0.05 | 0.05 ~ 0.15 | > 0.2 存在可懂度问题 |

🔍 在我们的 Sambert-Hifigan 多情感模型测试中： - 平均 MCD：2.8（情感切换时略升至 3.4） - F0 Correlation：0.71（高兴/愤怒情感表现较好，悲伤稍弱） - WER：0.06（数字和专有名词偶发错误）

这表明模型整体表现良好，但在低强度情感表达和复杂词识别还原上仍有优化空间。

🔍 三、主客观结果联动分析：发现问题根源

将主观与客观数据交叉分析，可以更精准定位问题。

案例：某条“悲伤”情感语音评分偏低

• 主观反馈：“语调太平，没有哭腔的感觉”
• 客观数据：
• MCD：3.1（正常）
• F0 Correlation：0.52（显著偏低）
• WER：0.04（正常）

👉结论：问题出在韵律建模不足，而非发音错误或音质退化。应检查情感嵌入（emotion embedding）模块是否充分学习了低频缓慢语调模式。

优化建议：

• 增加悲伤类语音的训练样本比例
• 引入情感强度控制参数（intensity slider）
• 在损失函数中加强 F0 预测权重

🛠️ 四、集成到 CI/CD：打造自动化评估流水线

为了提升研发效率，可将客观指标测试嵌入持续集成流程。

推荐架构设计

# .github/workflows/tts-eval.yml name: TTS Quality Evaluation on: [push, pull_request] jobs: evaluate: runs-on: ubuntu-latest steps: - uses: actions/checkout@v3 - name: Setup Python uses: actions/setup-python@v4 with: python-version: '3.9' - name: Install dependencies run: | pip install librosa python_speech_features fastdtw jiwer speechrecognition - name: Run inference run: python infer.py --text "你好，欢迎使用语音合成服务" --emotion happy --output test_output.wav - name: Compute metrics run: python eval_metrics.py --ref ref.wav --syn test_output.wav --text "你好，欢迎使用语音合成服务" - name: Check thresholds run: | if [ $(cat mcd.txt) -gt 4.0 ]; then exit 1; fi if [ $(cat f0_corr.txt) -lt 0.6 ]; then exit 1; fi

这样每次模型更新都能自动获得质量报告，防止 regressions（倒退）。

✅ 最佳实践总结

| 类型 | 建议做法 | |------|--------| |主观评测| 每月组织一次 MOS 测试，覆盖主要情感类型；建立用户反馈通道 | |客观指标| 将 MCD、F0 Corr、WER 纳入每日训练日志监控 | |语料建设| 维护一个标准测试集（Golden Set），包含典型难例 | |版本对比| 新旧模型在同一测试集上对比主客观分数 | |WebUI 辅助| 利用 Flask WebUI 快速试听多个版本输出，辅助人工判断 |

🎯 结语：让 TTS 质量评估走向科学化

在中文多情感语音合成场景中，单一维度的评估无法全面反映真实质量。通过“主观听感 + 客观数据”的双轮驱动，不仅能回答“好不好听”，更能指导“哪里需要改”。

我们所使用的Sambert-Hifigan 模型 + Flask WebUI/API 服务架构，为这一评估体系提供了理想的实验平台——既支持批量自动化测试，也便于人工试听验证。

🔚最终目标不是追求满分，而是让每一次迭代都更有依据。

无论是优化情感表达、提升发音清晰度，还是增强长文本连贯性，科学的评估体系都是通往高品质语音合成的必经之路。