ComfyUI用户必看：如何将TTS能力接入AI工作流？

🎙️ Sambert-HifiGan 中文多情感语音合成服务（WebUI + API）

在当前AIGC工作流中，文本生成语音（Text-to-Speech, TTS）正成为提升内容表现力的关键一环。尤其在视频配音、虚拟主播、有声书生成等场景中，自然、富有情感的中文语音合成能力显得尤为重要。本文将介绍如何基于ModelScope 的 Sambert-HifiGan 多情感中文TTS模型，快速构建一个稳定可用的语音合成服务，并将其无缝接入如 ComfyUI 等主流AI可视化工作流平台。

本方案不仅提供图形化操作界面，还开放标准HTTP API接口，真正实现“一次部署，多端调用”，为你的AI创作流程注入“声音的灵魂”。

📖 项目简介

本镜像基于 ModelScope 开源的Sambert-Hifigan（中文多情感）模型构建，采用两阶段架构：

Sambert：负责从输入文本生成高质量梅尔频谱图，支持多种情感风格（如开心、悲伤、愤怒、平静等）
Hifigan：作为声码器，将梅尔频谱图还原为高保真、接近真人发音的音频波形

该组合在中文语音合成任务中表现出色，音质清晰、语调自然，尤其擅长处理长句和复杂语义结构。

💡 核心亮点
可视交互：内置现代化 Flask WebUI，支持文字转语音实时播放与.wav文件下载
深度优化：已修复datasets(2.13.0)、numpy(1.23.5)与scipy(<1.13)的版本冲突，环境极度稳定，拒绝报错
双模服务：同时提供图形界面与标准 HTTP API 接口，满足本地调试与系统集成双重需求
轻量高效：针对 CPU 推理进行参数精简与加速优化，无需GPU也可流畅运行

🚀 快速启动与使用指南

1. 启动服务镜像

部署过程极为简单，只需一键拉取预配置好的Docker镜像即可：

docker run -p 5000:5000 your-tts-image-name

服务默认监听5000端口，启动成功后可通过浏览器访问：

http://localhost:5000

✅ 提示：若在云平台或远程服务器运行，请确保防火墙/安全组已放行对应端口。

2. 使用WebUI在线合成语音

进入页面后，你将看到如下简洁界面：

操作步骤如下：

在主文本框中输入任意长度的中文内容（例如：“今天天气真好，我们一起去公园散步吧！”）
可选选择情感类型（如“开心”、“温柔”、“严肃”等），不同情感会影响语调起伏与节奏
点击“开始合成语音”
系统将在数秒内完成推理并返回音频结果
支持在线试听、暂停控制以及.wav文件下载

⚠️ 注意：首次请求因需加载模型，响应时间稍长（约10-15秒），后续请求可做到秒级响应。

🔌 如何将TTS服务接入ComfyUI工作流？

ComfyUI 作为基于节点式设计的 Stable Diffusion 可视化工具，其强大之处在于支持自定义节点扩展。通过调用上述TTS服务的API，我们可以实现“文生图 → 图配文 → 文转音 → 视频输出”的完整自动化流程。

步骤一：确认API接口可用性

该服务已内置RESTful API，主要接口如下：

| 方法 | 路径 | 功能 | |------|------|------| | GET |/| 返回WebUI页面 | | POST |/tts| 执行语音合成 | | GET |/audio/<filename>| 下载指定音频文件 |

`POST /tts`请求示例：

{ "text": "欢迎使用多情感中文语音合成服务", "emotion": "happy", "speed": 1.0 }

响应格式：

{ "status": "success", "audio_url": "/audio/output_20250405_1200.wav", "filename": "output_20250405_1200.wav" }

步骤二：编写ComfyUI自定义节点（Python）

我们需要创建一个 ComfyUI 自定义节点，用于发送文本到TTS服务并获取音频链接。

文件路径：`custom_nodes/comfyui_tts_node.py`

import requests import os from nodes import NODE_CLASS_MAPPINGS class TextToSpeechNode: def __init__(self): self.tts_api_url = "http://localhost:5000/tts" self.audio_base_url = "http://localhost:5000/audio/" @classmethod def INPUT_TYPES(cls): return { "required": { "text": ("STRING", {"multiline": True, "default": "请输入要合成的文本"}), "emotion": (["neutral", "happy", "sad", "angry", "tired", "fearful"], {"default": "neutral"}), "speed": ("FLOAT", {"default": 1.0, "min": 0.5, "max": 2.0, "step": 0.1}) } } RETURN_TYPES = ("AUDIO_URL",) FUNCTION = "generate_speech" CATEGORY = " tts" def generate_speech(self, text, emotion, speed): try: response = requests.post( self.tts_api_url, json={"text": text, "emotion": emotion, "speed": speed}, timeout=30 ) result = response.json() if result["status"] == "success": audio_url = self.audio_base_url + result["filename"] return (audio_url,) else: raise Exception(f"TTS合成失败: {result.get('error', 'unknown')}") except Exception as e: raise RuntimeError(f"无法连接TTS服务，请检查是否已启动: {str(e)}") NODE_CLASS_MAPPINGS["TextToSpeechNode"] = TextToSpeechNode

💡 小贴士：将此文件放入ComfyUI/custom_nodes/目录下，重启ComfyUI即可在节点菜单中找到“TextToSpeechNode”。

步骤三：在ComfyUI中构建完整工作流

你可以按以下顺序连接节点：

LLM Node→ 输出描述性文案
TextToSpeechNode→ 接收文案并调用TTS服务
DownloadAudioNode（自定义）→ 根据URL下载音频文件至本地
VideoCombineNode→ 将图像/动画与音频合并为视频

这样就实现了从“创意生成”到“视听输出”的全链路自动化。

🛠️ 高级技巧与工程优化建议

1. 批量合成与队列管理

对于长篇内容（如有声书），建议增加分段逻辑与异步任务队列机制：

# 示例：使用 threading 或 Celery 实现后台任务 from threading import Thread def async_tts_task(text_list, output_dir): for i, text in enumerate(text_list): payload = {"text": text, "emotion": "narration"} r = requests.post("http://localhost:5000/tts", json=payload) # 下载并保存为 part_i.wav

避免阻塞主线程，提升整体吞吐效率。

2. 缓存机制减少重复合成

对固定文案（如品牌Slogan、常用提示语），可添加MD5哈希缓存层：

import hashlib def get_cache_key(text, emotion): key_str = f"{text}_{emotion}" return hashlib.md5(key_str.encode()).hexdigest()[:8]

将(text+emotion)映射为唯一key，查询本地是否存在对应音频，避免重复计算。

3. 情感风格微调建议

虽然模型支持多情感，但实际效果受训练数据分布影响。推荐以下实践：

| 场景 | 推荐情感 | 语速建议 | |------|----------|---------| | 广告宣传 | happy / excited | 1.2~1.4x | | 新闻播报 | neutral / serious | 1.0x | | 故事讲述 | narration / calm | 0.9~1.1x | | 客服应答 | polite / tired | 0.8~1.0x |

可根据业务需求进一步微调参数或收集反馈优化选择策略。

4. Docker镜像优化建议（生产环境）

如果你打算部署到生产环境，建议进一步优化Dockerfile：

# 使用更小的基础镜像 FROM python:3.9-slim # 安装必要依赖 RUN apt-get update && apt-get install -y --no-install-recommends \ libsndfile1 \ && rm -rf /var/lib/apt/lists/* COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY app.py /app/ WORKDIR /app EXPOSE 5000 CMD ["gunicorn", "-b", "0.0.0.0:5000", "--workers=2", "app:app"]

✅ 使用 Gunicorn 多worker模式提升并发能力，适合多用户同时访问。

🧪 实际应用案例：AI短视频自动生产流水线

某新媒体团队利用本TTS服务 + ComfyUI + FFmpeg 构建了一套全自动短视频生成系统：

输入关键词 → LLM生成脚本
ComfyUI生成匹配画面（插画/写实风格）
TTS服务为每段台词生成带情感的语音
FFmpeg自动合成音视频 + 添加字幕
输出成品上传至抖音/B站

整套流程无人值守运行，日均产出50+条短视频，人力成本下降70%。

📊 对比分析：Sambert-Hifigan vs 其他中文TTS方案

| 方案 | 音质 | 情感支持 | 推理速度 | 是否开源 | 部署难度 | |------|------|-----------|------------|-------------|--------------| |Sambert-Hifigan (本方案)| ★★★★☆ | ✅ 多情感 | 中等（CPU友好） | ✅ 完全开源 | ⭐⭐⭐☆ | | 百度PaddleSpeech | ★★★★☆ | ✅ | 快 | ✅ | ⭐⭐⭐⭐ | | 科大讯飞API | ★★★★★ | ✅✅✅ | 极快 | ❌ 商业闭源 | ⭐ | | VITS（社区版） | ★★★★ | ❌（需微调） | 慢 | ✅ | ⭐⭐⭐⭐⭐ | | Edge-TTS（微软） | ★★★☆ | ❌ | 快 | ✅ | ⭐⭐ |

✅结论：Sambert-Hifigan 在开源免费 + 多情感支持 + 易部署方面具有显著优势，非常适合中小团队和个人开发者集成进本地工作流。

🎯 总结与最佳实践建议

将TTS能力接入ComfyUI为代表的AI工作流，是迈向“全模态内容生成”的关键一步。本文所介绍的Sambert-Hifigan 多情感中文语音合成服务，具备以下核心价值：

📌 已解决三大痛点：
环境兼容性差？→ 我们已修复 datasets/numpy/scipy 版本冲突，开箱即用
缺乏图形界面？→ 内置Flask WebUI，非技术人员也能轻松操作
难以系统集成？→ 提供标准HTTP API，完美对接ComfyUI、LangChain、AutoGPT等框架

✅ 推荐最佳实践路径：

本地测试阶段：直接运行Docker镜像，通过WebUI验证音质与情感表现
开发集成阶段：编写ComfyUI自定义节点，打通图文声联动流程
上线部署阶段：启用Gunicorn+Nginx反向代理，保障服务稳定性
持续优化阶段：加入缓存、日志监控、异常重试机制，打造企业级服务能力

📚 下一步学习资源推荐

ModelScope TTS模型主页：https://modelscope.cn/models
Flask官方文档：https://flask.palletsprojects.com
ComfyUI自定义节点开发指南：GitHub Wiki
中文语音合成论文参考：
FastSpeech 2: Fast and High-Quality End-to-End Text to Speech
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis

现在就开始行动吧！让你的AI工作流不仅能“看”，还能“说”。