Sambert-HifiGan在电子书朗读系统中的应用实践

引言：中文多情感语音合成的现实需求

随着数字阅读的普及，电子书不再局限于静态文字呈现，越来越多用户期望获得“可听”的阅读体验。传统的机械式TTS（Text-to-Speech）语音生硬、缺乏情感，难以满足长时间聆听的需求。尤其在儿童读物、有声小说、无障碍阅读等场景中，自然、富有情感的中文语音合成成为关键能力。

在此背景下，ModelScope推出的Sambert-HifiGan 中文多情感语音合成模型提供了高质量解决方案。该模型基于非自回归声学模型Sambert与高保真声码器HiFi-GAN的联合架构，在音质、语调自然度和情感表达上表现优异。本文将围绕如何将其集成到实际电子书朗读系统中，分享完整的落地实践经验——从环境部署、接口封装到WebUI交互设计，实现一个稳定、易用、支持长文本的语音服务系统。

技术选型：为何选择 Sambert-HifiGan？

在构建电子书朗读系统时，我们评估了多种开源TTS方案，包括Tacotron2+WaveRNN、FastSpeech2+MelGAN以及阿里通义实验室的Sambert-HifiGan。最终选定后者，主要基于以下几点核心优势：

| 方案 | 音质表现 | 推理速度 | 情感丰富度 | 易部署性 | |------|----------|-----------|-------------|------------| | Tacotron2 + WaveRNN | 一般 | 慢（自回归） | 低 | 复杂 | | FastSpeech2 + MelGAN | 良好 | 快 | 中等 | 中等 | |Sambert-HifiGan|优秀（接近真人）|快（非自回归）|高（支持多情感）|高（ModelScope封装完善）|

✅关键结论：Sambert-HifiGan 在音质、速度与情感表达之间达到了最佳平衡，特别适合需要长期播放、注重听觉舒适度的应用场景。

此外，该模型由ModelScope平台提供统一API接口，预训练权重开箱即用，极大降低了研发门槛。更重要的是，它原生支持中文语境下的多情感合成（如喜悦、悲伤、平静、愤怒等），为电子书不同章节的情绪渲染提供了可能性。

系统架构设计与模块整合

我们的目标是打造一个集“后台服务 + 前端交互”于一体的完整语音合成系统。整体架构分为三层：

[ 用户层 ] → Web浏览器访问UI或调用HTTP API ↓ [ 服务层 ] → Flask RESTful API + Sambert-HifiGan推理引擎 ↓ [ 模型层 ] → ModelScope加载的 Sambert-HifiGan 预训练模型

核心组件职责说明

Flask服务：作为轻量级Web框架，负责接收文本请求、调用模型生成音频、返回WAV文件。
ModelScope SDK：通过modelscope.pipelines调用本地或远程模型，简化推理流程。
音频缓存机制：对已合成文本进行哈希标记，避免重复计算，提升响应效率。
前端页面：提供简洁输入框与播放控件，支持实时试听与下载功能。

该架构具备良好的扩展性，未来可接入更多情感控制参数、语速调节、角色切换等功能。

实践步骤详解：从零搭建语音合成服务

第一步：环境准备与依赖修复

尽管ModelScope提供了便捷的模型调用方式，但在实际部署过程中我们遇到了严重的依赖冲突问题，尤其是在numpy、scipy和datasets版本不兼容的情况下，导致模型无法正常加载。

经过多次测试，确定以下组合为最稳定版本配置：

numpy==1.23.5 scipy<1.13.0 datasets==2.13.0 torch==1.13.1 modelscope==1.11.0 flask==2.3.3

🔧修复技巧：使用pip install --no-deps先安装主包，再手动指定兼容版本，避免自动升级引发冲突。

建议使用虚拟环境（venv或conda）隔离项目依赖，确保生产环境纯净。

第二步：模型加载与推理封装

我们通过ModelScope提供的Pipeline方式快速加载Sambert-HifiGan模型，并封装成可复用的服务函数。

from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks # 初始化语音合成pipeline tts_pipeline = pipeline( task=Tasks.text_to_speech, model='damo/speech_sambert-hifigan_tts_zh-cn_pretrain_16k' ) def synthesize_text(text: str, output_wav_path: str): """ 执行语音合成，输入文本，输出WAV音频文件 """ result = tts_pipeline(input=text) # 提取音频数据并保存 wav_data = result["output_wav"] with open(output_wav_path, "wb") as f: f.write(wav_data) return output_wav_path

📌代码解析： -damo/speech_sambert-hifigan_tts_zh-cn_pretrain_16k是官方发布的中文多情感预训练模型ID。 - 输出为原始WAV字节流，便于直接传输或存储。 - 支持长文本自动分段处理，无需手动切句。

第三步：Flask API 接口开发

为了同时支持程序化调用和Web交互，我们设计了两个核心接口：

1. 文本转语音 API（POST /api/tts）

from flask import Flask, request, send_file, jsonify import os import hashlib app = Flask(__name__) CACHE_DIR = "audio_cache" os.makedirs(CACHE_DIR, exist_ok=True) @app.route("/api/tts", methods=["POST"]) def api_tts(): data = request.json text = data.get("text", "").strip() if not text: return jsonify({"error": "文本不能为空"}), 400 # 使用MD5哈希生成唯一文件名 file_hash = hashlib.md5(text.encode("utf-8")).hexdigest() wav_path = os.path.join(CACHE_DIR, f"{file_hash}.wav") # 若已存在缓存，直接返回 if not os.path.exists(wav_path): try: synthesize_text(text, wav_path) except Exception as e: return jsonify({"error": str(e)}), 500 return send_file(wav_path, mimetype="audio/wav")

2. Web界面主页（GET /）

@app.route("/") def index(): return ''' <html> <head><title>电子书语音朗读器</title></head> <body style="font-family: Arial, sans-serif; max-width: 800px; margin: 40px auto;"> <h1>🎙️ 电子书语音朗读系统</h1> <p>输入任意中文文本，一键生成自然流畅的语音朗读。</p> <textarea id="textInput" rows="6" cols="80" placeholder="请输入要朗读的内容..."></textarea><br/> <button onclick="startSynthesis()">开始合成语音</button> <div id="loading" style="display:none;">🔊 合成中，请稍候...</div> <audio id="audioPlayer" controls style="margin-top: 20px;"></audio> <script> function startSynthesis() { const text = document.getElementById("textInput").value; if (!text) { alert("请输入文本！"); return; } document.getElementById("loading").style.display = "block"; fetch("/api/tts", { method: "POST", headers: { "Content-Type": "application/json" }, body: JSON.stringify({ text: text }) }) .then(res => res.blob()) .then(blob => { const url = URL.createObjectURL(blob); document.getElementById("audioPlayer").src = url; document.getElementById("loading").style.display = "none"; }) .catch(err => { alert("合成失败：" + err.message); document.getElementById("loading").style.display = "none"; }); } </script> </body> </html> '''

✅功能亮点： - 支持JSON接口调用，便于第三方系统集成。 - 前端通过Blob接收音频流，实现无缝播放。 - 缓存机制显著提升重复内容的响应速度。

落地难点与优化策略

❗ 问题1：长文本合成延迟较高

虽然Sambert支持长文本输入，但一次性处理过长段落会导致内存占用上升、响应变慢。

🔧解决方案： - 对超过100字的文本按标点符号智能切分（如句号、逗号、问号） - 分段合成后拼接音频（使用pydub库）

from pydub import AudioSegment def split_and_synthesize(texts: list, output_path: str): combined = AudioSegment.empty() for i, t in enumerate(texts): temp_wav = f"temp_{i}.wav" synthesize_text(t, temp_wav) segment = AudioSegment.from_wav(temp_wav) combined += segment os.remove(temp_wav) combined.export(output_path, format="wav")