Sambert-HifiGan REST API开发：快速接入指南

1. 引言

1.1 业务场景描述

在智能客服、有声阅读、语音助手等实际应用中，高质量的中文语音合成（Text-to-Speech, TTS）能力已成为关键需求。尤其在需要表达情感色彩的场景下，如儿童故事朗读、情感化人机交互等，传统机械式语音已无法满足用户体验要求。

ModelScope推出的Sambert-HifiGan 中文多情感语音合成模型，具备高自然度和丰富的情感表现力，能够生成接近真人发音的语音。然而，许多开发者面临模型部署复杂、依赖冲突频发、缺乏标准接口等问题，导致难以快速集成到生产系统中。

1.2 痛点分析

模型环境依赖复杂，常见于numpy、scipy、datasets等库版本不兼容；
缺乏统一的API服务接口，难以与前端或后端系统对接；
多数开源项目仅提供命令行工具，缺少可视化操作界面；
CPU推理性能未优化，响应延迟较高。

1.3 方案预告

本文将详细介绍如何基于已修复依赖的Sambert-HifiGan 镜像环境，通过集成 Flask 构建稳定高效的 RESTful API，并配套 WebUI 实现图形化交互。帮助开发者实现“一键部署 + 快速调用”的全流程语音合成服务接入。

2. 技术方案选型

2.1 核心组件说明

组件	版本	作用
ModelScope Sambert-HifiGan	latest	主模型，负责文本到梅尔谱图（Sambert）与声码器（HifiGan）联合生成高质量音频
Flask	2.3.3	轻量级Web框架，用于构建REST API和WebUI服务
NumPy	1.23.5	数值计算基础库，解决高版本不兼容问题
SciPy	<1.13	科学计算支持，避免与librosa冲突
Datasets	2.13.0	HuggingFace数据集工具，已锁定兼容版本

📌 关键修复点：原始环境中scipy>=1.13会导致librosa加载失败，而numpy>=1.24不兼容旧版transformers。本方案通过精确版本控制彻底解决此类问题。

2.2 为什么选择Flask？

轻量灵活：无需复杂配置即可启动HTTP服务；
易于扩展：支持蓝图（Blueprints）、中间件、CORS等企业级功能；
社区成熟：大量第三方插件支持JSON处理、文件上传、日志记录等；
适合微服务架构：可独立部署为TTS专用服务节点。

2.3 双模服务设计优势

模式	使用人群	应用场景
WebUI	测试人员、产品经理	快速验证效果、试听不同文本输出
REST API	开发者、自动化系统	集成至App、小程序、后台任务流

3. 实现步骤详解

3.1 环境准备

确保运行环境已加载指定镜像（包含预装依赖）。若自行搭建，请使用以下requirements.txt：

flask==2.3.3 modelscope==1.13.0 torch==1.13.1 numpy==1.23.5 scipy==1.12.0 librosa==0.9.2 soundfile==0.12.1

安装命令：

pip install -r requirements.txt

⚠️ 注意：务必按上述版本安装，否则可能出现AttributeError: module 'scipy' has no attribute 'signal'等错误。

3.2 模型加载与初始化

from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks # 初始化语音合成管道 tts_pipeline = pipeline( task=Tasks.text_to_speech, model='damo/speech_sambert-hifigan_tts_zh-cn_pretrain_16k' )

该模型支持多种情感风格（如开心、悲伤、愤怒等），可通过参数传递控制情感类型。

3.3 REST API 接口实现

from flask import Flask, request, jsonify, send_file import os import uuid app = Flask(__name__) OUTPUT_DIR = "output" os.makedirs(OUTPUT_DIR, exist_ok=True) @app.route('/api/tts', methods=['POST']) def synthesize(): data = request.get_json() text = data.get('text', '').strip() emotion = data.get('emotion', 'neutral') # 支持 happy, sad, angry 等 if not text: return jsonify({'error': 'Missing text'}), 400 try: # 执行语音合成 result = tts_pipeline(input=text, voice=emotion) wav_path = os.path.join(OUTPUT_DIR, f"{uuid.uuid4().hex}.wav") # 保存音频文件 with open(wav_path, 'wb') as f: f.write(result['output_wav']) return send_file(wav_path, mimetype='audio/wav', as_attachment=True, download_name='speech.wav') except Exception as e: return jsonify({'error': str(e)}), 500 if __name__ == '__main__': app.run(host='0.0.0.0', port=8080)

📌 接口说明

URL:POST /api/tts

请求体（JSON）:

{ "text": "今天天气真好，我们一起去公园吧！", "emotion": "happy" }

返回结果：直接返回.wav音频文件流（可用于前端<audio>标签播放）

3.4 WebUI 页面集成

创建templates/index.html文件：

<!DOCTYPE html> <html> <head> <title>Sambert-HifiGan 语音合成</title> <style> body { font-family: Arial, sans-serif; margin: 40px; } textarea { width: 100%; height: 100px; margin: 10px 0; } button { padding: 10px 20px; font-size: 16px; } audio { margin-top: 20px; } </style> </head> <body> <h1>🎙️ 中文多情感语音合成</h1> <textarea id="text" placeholder="请输入要合成的中文文本..."></textarea><br/> <label>情感风格：</label> <select id="emotion"> <option value="neutral">中性</option> <option value="happy">开心</option> <option value="sad">悲伤</option> <option value="angry">愤怒</option> </select> <button onclick="synthesize()">开始合成语音</button> <div id="result"></div> <script> function synthesize() { const text = document.getElementById("text").value; const emotion = document.getElementById("emotion").value; if (!text) { alert("请输入文本！"); return; } fetch("/api/tts", { method: "POST", headers: { "Content-Type": "application/json" }, body: JSON.stringify({ text, emotion }) }) .then(response => { const audioBlob = response.blob(); const url = URL.createObjectURL(audioBlob); document.getElementById("result").innerHTML = `<p>✅ 合成完成：</p><audio controls src="${url}"></audio>`; }) .catch(err => { console.error(err); alert("合成失败：" + err.message); }); } </script> </body> </html>

并在 Flask 中添加路由：

@app.route('/') def home(): return render_template('index.html')

4. 实践问题与优化

4.1 常见问题及解决方案

问题现象	原因	解决方法
`ModuleNotFoundError: No module named 'xxx'`	依赖缺失或版本错乱	使用指定版本重新安装
`CUDA out of memory`	GPU显存不足	切换至CPU模式：`device='cpu'`
音频播放卡顿	采样率不匹配	确保模型输出为`16kHz`WAV 文件
请求阻塞	单线程同步处理	使用`gevent`或`gunicorn`启动多进程

4.2 性能优化建议

启用缓存机制
- 对重复输入的文本进行MD5哈希，缓存已有音频文件，减少重复推理。
```
import hashlib key = hashlib.md5((text+emotion).encode()).hexdigest()
```
异步任务队列（进阶）
- 使用 Celery + Redis 将长文本合成转为后台任务，提升响应速度。
压缩音频格式
- 输出MP3替代WAV（需安装pydub+ffmpeg），减小传输体积。
启用Gzip压缩
- 在Nginx层开启Gzip，降低网络传输开销。