用老人语音留存记忆，GLM-TTS温暖实践分享

1. 引言：让声音穿越时间的温度

在数字时代，我们习惯了用照片和视频记录生活，但有一种情感载体常常被忽视——声音。一个熟悉的语调、一句轻柔的“吃饭了”，往往比影像更能唤醒深藏的记忆。尤其对于年迈的亲人，他们的声音正随着岁月逐渐模糊，甚至永远消失。

有没有一种方式，能将老人的一段语音永久保存，并让AI以同样的声线读出新的内容？答案是肯定的。借助GLM-TTS——智谱开源的文本转语音模型，结合科哥二次开发的WebUI界面，普通人也能实现“零样本语音克隆”，仅凭一段3–10秒的录音，复现亲人的声音讲述家书、童谣甚至未来的故事。

这不仅是一项技术实践，更是一次关于记忆与情感的数字化传承。

2. GLM-TTS核心技术解析

2.1 零样本语音克隆的工作机制

GLM-TTS的核心能力在于“零样本”（Zero-Shot）语音合成，即无需对目标说话人进行模型微调，仅通过一段参考音频即可迁移音色特征。

其工作流程如下：

[参考音频] → 音色编码器 → 提取256维声纹嵌入（Speaker Embedding） ↓ [输入文本] → 文本编码器 → 结合声纹与语言特征 → 解码生成波形

• 音色编码器：从短音频中提取说话人的声学特征，如基频分布、共振峰结构、发音节奏等，形成唯一的“声音指纹”。
• 上下文对齐机制：若同时提供参考文本，模型会学习原音频中的停顿、重音和语调模式，并迁移到新文本中，实现风格一致的朗读。

这种设计跳过了传统TTS所需的大量标注数据和训练周期，真正实现了“一听就会”的即时克隆。

2.2 多语言与方言支持能力

GLM-TTS针对中文场景做了深度优化，支持： - 普通话、英文及中英混合文本 - 方言克隆（如粤语、四川话、东北话等） - 多音字精准控制（通过自定义G2P字典）

尽管目前对方言的原生建模有限，但通过高质量的参考音频，仍可实现较高还原度的口音模拟。

2.3 情感与发音精细控制

除了音色克隆，GLM-TTS还支持： -情感迁移：通过参考音频的情感特征（语调起伏、语速变化、能量波动）影响生成语音的情绪表达。 -音素级控制：开启phoneme模式后，可直接输入拼音或国际音标，精确控制每个字的发音，避免“重庆”读成“重（zhòng）庆”等问题。

这些特性使得它特别适合用于家庭记忆留存、有声书制作、虚拟陪伴等需要高自然度和准确性的场景。

3. 实践操作全流程指南

3.1 环境准备与启动

使用镜像部署的GLM-TTS环境已预装所有依赖，只需执行以下命令即可启动Web界面：

cd /root/GLM-TTS source /opt/miniconda3/bin/activate torch29 bash start_app.sh

启动完成后，在浏览器访问：http://localhost:7860

提示：每次重启实例后需重新激活torch29虚拟环境。

3.2 基础语音合成步骤

步骤一：上传参考音频

• 格式要求：WAV 或 MP3，3–10秒清晰人声
• 推荐来源：老人日常对话、朗读片段、电话录音（尽量无背景噪音）
• 示例命名：grandma_voice.wav

步骤二：填写参考文本（可选）

• 输入音频中实际说出的内容，帮助模型对齐音素与发音
• 若不确定内容，可留空，系统仍能完成克隆

步骤三：输入目标文本

• 支持中文、英文、混合文本
• 建议单次不超过200字，长文本建议分段处理
• 示例：“奶奶，你还记得小时候给我讲的那个月亮的故事吗？”

步骤四：调整高级参数

步骤五：开始合成

点击「🚀 开始合成」按钮，等待5–30秒，生成的音频将自动播放并保存至@outputs/目录。

3.3 批量生成家庭语音档案

当需要为多位亲人建立声音档案，或生成多段回忆录时，推荐使用批量推理功能。

准备任务文件（JSONL格式）

创建family_tts.jsonl文件，每行一个任务：

{"prompt_audio": "refs/grandma.wav", "prompt_text": "今天天气真好啊", "input_text": "亲爱的孙女，你要好好学习，天天向上。", "output_name": "msg_01"} {"prompt_audio": "refs/grandpa.wav", "prompt_text": "吃饭咯", "input_text": "爷爷年轻时在部队当兵，走遍了大江南北。", "output_name": "msg_02"}

字段说明： -prompt_audio：参考音频路径 -prompt_text：参考文本（可选） -input_text：要合成的文本 -output_name：输出文件名前缀

执行批量合成

1. 进入「批量推理」标签页
2. 上传family_tts.jsonl
3. 设置输出目录为@outputs/family/
4. 点击「🚀 开始批量合成」

处理完成后，所有音频将以.wav格式保存，并打包为ZIP供下载。

4. 提升效果的关键技巧

4.1 参考音频选择标准

✅推荐做法： - 使用安静环境下录制的清晰人声 - 单人独白，避免多人对话或背景音乐 - 时长5–8秒为佳，包含完整语句和自然停顿 - 表达自然，带有轻微情感起伏（如慈祥、温和）

❌应避免的情况： - 电话录音（带压缩失真） - 含背景音乐或电视声 - 过于沙哑、咳嗽频繁的录音 - 小于2秒或超过15秒的音频

小技巧：可用Audacity等工具裁剪原始录音，提取最具代表性的句子片段。

4.2 文本输入优化策略

• 正确使用标点：逗号产生短暂停顿，句号延长间隔，问号触发语调上扬，有助于提升语义清晰度。
• 分段处理长文本：超过200字的文本建议拆分为多个段落分别合成，再后期拼接，避免显存溢出和语气断裂。
• 中英混合无需特殊标记：系统能自动识别语言切换，如“Hello，早上好！”可直接输入。

4.3 自定义G2P规则提升准确性

为解决多音字误读问题，可在configs/G2P_replace_dict.jsonl中添加规则：

{"char": "重", "pinyin": "chong", "context": "重庆"} {"char": "行", "pinyin": "hang", "context": "银行"} {"char": "乐", "pinyin": "yue", "context": "音乐"} {"char": "给", "pinyin": "gei", "context": "给我"}

保存后重启服务或刷新配置，模型将在匹配上下文时强制使用指定拼音。

4.4 音素模式进阶控制（Phoneme Mode）

对于关键内容（如家史、诗词），可启用音素输入模式，完全掌控发音细节。

命令行调用示例：

python glmtts_inference.py \ --data=example_zh \ --exp_name=family_history \ --use_cache \ --phoneme \ --g2p_dict configs/G2P_replace_dict.jsonl

此时输入文本需替换为音素序列，例如： - “我哋” →ngo5 dei6（粤语） - “儿化音” →hua er而非huar

该模式适用于高标准的内容生产，虽增加操作复杂度，但显著提升准确率。

5. 常见问题与解决方案

5.1 音色相似度不高怎么办？

可能原因及对策： -音频质量差：更换更清晰的录音 -未填写参考文本：补全对应文字，增强对齐效果 -参考音频过短：尝试使用5秒以上录音 -环境噪声干扰：使用降噪工具预处理音频

5.2 生成速度慢如何优化？

• 切换为24kHz 采样率
• 确保KV Cache 已开启
• 缩短单次合成文本长度
• 检查GPU显存是否充足（建议≥8GB）

5.3 如何清理显存？

点击Web界面中的「🧹 清理显存」按钮，系统将释放模型缓存，适用于连续多次合成后的性能恢复。

5.4 批量任务失败排查

常见错误： - JSONL格式错误（缺少引号、逗号） - 音频路径不存在或权限不足 - 文件名包含中文或特殊字符

建议先用单个任务测试成功后再提交批量任务。

6. 总结

GLM-TTS以其强大的零样本语音克隆能力、对中文场景的深度适配以及灵活的情感与发音控制，为个人用户提供了前所未有的声音复现工具。无论是为了留存长辈的声音记忆，还是构建个性化语音助手，这项技术都展现出极高的实用价值与人文关怀。

通过本文介绍的操作流程与优化技巧，你可以在本地环境中快速上手，用一段短短的录音，让亲人的声音“穿越时间”，继续讲述那些未完的故事。

技术的意义，不只是效率的提升，更是记忆的延续。当你再次听到那个熟悉的声音说“孩子，别怕，奶奶在这儿”，那一刻，科技便有了温度。

7. 参考资料与支持

• 项目地址：https://github.com/zai-org/GLM-TTS
• 技术支持联系人：科哥 微信：312088415
• 输出目录说明：
• 单次合成：@outputs/tts_时间戳.wav
• 批量任务：@outputs/batch/

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。