没有参考文本能行吗？GLM-TTS留空字段实测

1. 引言：语音克隆中的参考文本作用与疑问

在当前主流的零样本语音克隆系统中，参考音频和参考文本通常被视为一对关键输入。其中，参考音频用于提取目标说话人的音色特征，而参考文本则作为对齐音频内容的语言标注，帮助模型更准确地学习发音模式。

然而，在实际使用场景中，我们常常面临一个现实问题：无法获取参考音频对应的文字内容。例如：

• 从公开视频或录音中截取人声片段
• 用户上传历史语音但无文字记录
• 多人对话中提取单人声音

此时，是否必须填写参考文本？如果留空，会对合成效果产生多大影响？

本文基于GLM-TTS（智谱开源AI文本转语音模型）进行实测分析，重点测试“不提供参考文本”这一配置下的语音克隆质量、音色相似度及自然度表现，并结合批量推理流程给出工程化建议。

2. 实验设计与测试环境

2.1 测试目标

验证以下三种情况下的语音合成效果差异：

1. ✅ 提供参考音频 + 参考文本（标准模式）
2. ⚠️ 仅提供参考音频，参考文本留空（本文核心关注点）
3. ❌ 不提供参考音频（非克隆模式，仅作对比）

2.2 实验环境

2.3 测试素材准备

参考音频选择原则：

• 单一人声，清晰无背景噪音
• 时长控制在5–8秒之间
• 包含常见中文语调变化（陈述、疑问等）
• 内容涵盖数字、专有名词、轻声词

选取三类不同风格的声音样本：

合成文本统一使用：

“今天天气不错，适合出门散步。人工智能技术正在快速发展，特别是大模型驱动的语音合成系统。”

该句包含常见词汇、连读现象和轻声词，便于评估发音准确性。

3. 实测结果分析

3.1 主观听感对比

我们将每组实验生成的音频进行盲听测试（共5位听众），从音色相似度、发音自然度、语调流畅性三个维度打分（满分5分）。

结论：

• 留空参考文本会导致平均得分下降约13%，主要体现在语调匹配和细节还原上。
• 相比完全无参考音频的情况，仅靠音频也能实现有效音色克隆，说明模型具备较强的声学特征提取能力。

3.2 客观指标辅助分析

虽然GLM-TTS未直接输出CER（字符错误率）或SIM（相似度）等量化指标，但我们可通过以下方式间接评估：

（1）频谱图对比（Mel-Spectrogram）

使用Pythonlibrosa对生成音频绘制梅尔频谱图，观察其与原始参考音频的结构一致性。

import librosa import librosa.display import matplotlib.pyplot as plt def plot_spectrogram(audio_path, title): y, sr = librosa.load(audio_path) S = librosa.feature.melspectrogram(y=y, sr=sr, n_mels=128, fmax=8000) S_dB = librosa.power_to_db(S, ref=np.max) plt.figure(figsize=(10, 4)) librosa.display.specshow(S_dB, sr=sr, x_axis='time', y_axis='mel') plt.colorbar(format='%+2.0f dB') plt.title(title) plt.tight_layout() plt.show() # 分别绘制“有文本”与“无文本”条件下的输出频谱 plot_spectrogram("@outputs/tts_with_text.wav", "With Prompt Text") plot_spectrogram("@outputs/tts_without_text.wav", "Without Prompt Text")

观察发现：

• 两者整体节奏和基频包络高度一致
• “无文本”条件下部分辅音过渡略显生硬（如“出门”之间的停顿）
• 情感语调保留较好，尤其在感叹句尾部升调处理上接近原声

（2）音素对齐可视化

借助gentle强制对齐工具，将生成语音与预期文本进行音素级时间对齐：

# 安装 gentle 工具（需Docker） docker run -it -p 32768:8765 lowerquality/gentle # 对音频进行对齐 curl -F "audio=@tts_output.wav" -F "transcript=今天天气不错..." http://localhost:32768/transcriptions?async=false

结果显示：

• “有参考文本”条件下，多音字“重”正确读为“zhòng”
• “无参考文本”条件下，“重”误读为“chóng”，表明缺乏语言先验会影响G2P判断

4. 批量推理中的留空字段行为验证

考虑到生产环境中常采用JSONL格式进行批量处理，我们进一步测试当prompt_text字段为空或缺失时系统的处理逻辑。

4.1 JSONL任务文件示例

{ "prompt_audio": "examples/prompt/audio_A.wav", "prompt_text": "今天天气很好，适合外出活动。", "input_text": "人工智能正深刻改变我们的生活。", "output_name": "test_case_01" }

{ "prompt_audio": "examples/prompt/audio_B.wav", "prompt_text": "", "input_text": "这个项目非常有趣，值得深入研究。", "output_name": "test_case_02" }

{ "prompt_audio": "examples/prompt/audio_C.wav", "input_text": "我们需要更多高质量的数据支持训练。", "output_name": "test_case_03" }

注意：第三个任务完全省略了prompt_text字段

4.2 系统响应日志分析

查看后台日志输出：

[INFO] Processing task: test_case_01 → Using prompt text: '今天天气很好...' → Audio loaded from examples/prompt/audio_A.wav [INFO] Processing task: test_case_02 → Warning: Empty prompt_text provided, skipping alignment guidance → Proceeding with audio-only conditioning [INFO] Processing task: test_case_03 → Key 'prompt_text' not found in input, treating as None → Falling back to audio-only mode

关键发现：

• 当prompt_text为空字符串或不存在时，系统自动进入“audio-only mode”
• 不会报错或中断流程，仍可完成合成
• 日志明确提示“skipping alignment guidance”，说明放弃了文本对齐优化

4.3 输出质量一致性检查

对三组批量输出进行回放比对，结论如下：

💡建议：即使无法提供准确文本，也可尝试输入近似内容（如ASR自动识别结果），以提升对齐精度。

5. 工程实践建议与优化策略

尽管GLM-TTS支持在无参考文本的情况下完成语音克隆，但为了保证输出质量稳定，建议采取以下措施：

5.1 最佳实践清单

• ✅优先提供参考文本：哪怕只是大致内容，也能显著提升音色还原度
• ✅使用ASR预处理：对未知内容的音频先运行一次自动语音识别（如Whisper），再填入结果
• ✅控制音频长度：推荐3–10秒，避免过长导致注意力分散
• ✅固定随机种子：确保多次生成结果一致，便于调试
• ✅启用KV Cache：加快长文本推理速度，降低显存波动

5.2 自动化脚本增强方案

构建一个预处理管道，在调用GLM-TTS前自动补全文本字段：

import whisper import json # 加载 Whisper 模型（small 支持中文） model = whisper.load_model("small") def fill_missing_prompt_text(jsonl_file: str) -> list: results = [] with open(jsonl_file, 'r', encoding='utf-8') as f: for line in f: task = json.loads(line.strip()) if not task.get("prompt_text") or len(task["prompt_text"].strip()) == 0: # 使用 Whisper 转录 result = model.transcribe(task["prompt_audio"], language="zh") task["prompt_text"] = result["text"] print(f"[Auto-filled] {task['output_name']}: {result['text']}") results.append(task) return results # 保存为新的 JSONL 文件供批量推理使用 tasks_with_text = fill_missing_prompt_text("batch_tasks.jsonl") with open("batch_tasks_filled.jsonl", "w", encoding="utf-8") as f: for t in tasks_with_text: f.write(json.dumps(t, ensure_ascii=False) + "\n")

此方法可在无需人工干预的前提下，大幅提升“无文本”场景下的合成质量。

6. 总结

通过本次实测可以得出以下结论：

1. GLM-TTS支持在不填写参考文本的情况下完成语音克隆，系统会自动切换至“audio-only”模式，依赖声学特征直接建模。
2. 音色还原能力依然较强，主观评分达4.0/5.0，适用于对精确度要求不高的通用场景。
3. 缺少文本对齐信息可能导致多音字误读、语调偏差等问题，尤其在专业播报、教育等领域需谨慎使用。
4. 在批量推理中，无论是空字符串还是字段缺失，均不会引发错误，具备良好的容错性。
5. 推荐结合ASR技术自动补全文本，形成“音频→ASR→TTS”的完整流水线，兼顾效率与质量。

因此，回答标题问题：“没有参考文本能行吗？”——能行，但有条件地可行。合理利用自动化工具和工程优化手段，可以在真实业务中安全落地此类弱监督语音克隆方案。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。