实时语音合成延迟优化：Sambert-Hifigan流式输出功能探讨

📌 引言：中文多情感语音合成的现实挑战

随着智能客服、有声阅读、虚拟主播等应用场景的普及，高质量的中文多情感语音合成（TTS）已成为人机交互的关键技术之一。用户不再满足于“能说话”的机器，而是期待语音具备自然语调、丰富情感和低延迟响应能力。

在当前主流的端到端 TTS 模型中，Sambert-Hifigan因其出色的音质表现和对中文语境的良好适配，被广泛应用于实际项目。然而，在长文本或实时对话场景下，传统“全量生成后播放”模式带来的高延迟问题日益凸显——用户需等待数秒才能听到第一句话，严重影响体验。

本文将围绕基于ModelScope 的 Sambert-Hifigan 中文多情感模型构建的 Web 服务，深入探讨如何通过流式输出机制实现语音合成过程中的低延迟优化，并结合 Flask 接口设计与工程实践，提供一套可落地的解决方案。

🔍 技术背景：Sambert-Hifigan 模型架构解析

核心组成与工作逻辑

Sambert-Hifigan 是一个两阶段的端到端语音合成系统，由Sambert 声学模型和HiFi-GAN 声码器组成：

Sambert（Speech-Text BERT）
负责将输入文本转换为中间表示（梅尔频谱图）
支持多情感控制（如开心、悲伤、愤怒等），通过情感嵌入向量调节输出语调
基于 Transformer 结构，具备强大的上下文建模能力
HiFi-GAN（High-Fidelity Generative Adversarial Network）
将梅尔频谱图还原为高保真波形音频
利用判别器训练机制提升生成音质，接近真人发音水平
推理速度快，适合部署在 CPU 环境

💡 关键洞察：虽然 HiFi-GAN 单帧生成速度快，但整个流程仍需等待 Sambert 完整生成全部梅尔谱后才开始解码，导致端到端延迟显著增加。

流式输出的价值定位

传统的 TTS 服务采用“先合成，再传输”模式：

[输入文本] → [完整梅尔谱生成] → [完整波形生成] → [返回.wav文件]

这在短句场景尚可接受，但在处理超过50字的长文本时，用户平均等待时间可达3~5秒。

而流式输出的目标是实现“边生成，边传输”，即：

[输入文本] → [分块生成梅尔谱] → [实时解码为音频片段] → [立即推送至前端播放]

这种模式的核心优势在于： - ✅ 显著降低首包延迟（Time to First Audio, TTFA） - ✅ 提升用户体验流畅度，接近“即时朗读”效果 - ✅ 减少内存占用，避免大音频缓冲区堆积

🛠️ 实践路径：基于 Flask 的流式 API 设计与实现

整体架构设计

我们基于 ModelScope 提供的预训练模型，构建了一个支持 WebUI 与 API 双模访问的服务系统，整体结构如下：

+------------------+ +---------------------+ | Web Browser |<--->| Flask Application | | (HTML + JS) | | - RESTful API | +------------------+ | - Streaming Route | | - Model Inference | +----------+----------+ | +--------v--------+ | Sambert-Hifigan | | Model Pipeline | +-----------------+

其中关键突破点在于新增/api/tts/stream流式接口，支持text/event-stream协议，实现音频数据的逐段推送。

分步实现详解

步骤一：环境准备与依赖修复

由于原始 ModelScope 模型依赖较复杂，存在版本冲突风险（如datasets,numpy,scipy），我们在 Docker 镜像中进行了深度固化：

RUN pip install "numpy==1.23.5" \ && pip install "scipy<1.13" \ && pip install "datasets==2.13.0" \ && pip install modelscope flask gevent

✅ 成果验证：经测试，该配置可稳定运行 Sambert-Hifigan 模型，无任何兼容性报错，适用于 CPU 推理环境。

步骤二：流式推理管道拆解

为了实现流式输出，必须对原生推理流程进行重构。核心思路是：将长文本切分为语义完整的子句，逐个送入模型生成音频片段。

def split_text(text: str) -> list: """按标点符号分割长文本，保留语义完整性""" import re sentences = re.split(r'(?<=[。！？；])', text) return [s.strip() for s in sentences if s.strip()]

每个子句独立经过以下流程： 1. 文本→梅尔谱（Sambert） 2. 梅尔谱→波形（HiFi-GAN） 3. 编码为 WAV 片段 4. 通过生成器 yield 返回

步骤三：Flask 流式接口实现

使用Response对象配合生成器函数，实现 SSE（Server-Sent Events）流式传输：

from flask import Flask, request, Response import io import wave from modelscope.pipelines import pipeline app = Flask(__name__) # 初始化 TTS 管道 inference_pipeline = pipeline( task='text-to-speech', model='damo/speech_sambert-hifigan_tts_zh-cn_pretrain_16k' ) def generate_audio_stream(text): sentences = split_text(text) # 配置 WAV 头部参数 sample_rate = 16000 n_channels = 1 sampwidth = 2 for i, sentence in enumerate(sentences): # 执行推理 output = inference_pipeline(input=sentence) waveform = output['waveform'] # 写入内存 WAV 文件 wav_io = io.BytesIO() with wave.open(wav_io, 'wb') as wf: wf.setnchannels(n_channels) wf.setsampwidth(sampwidth) wf.setframerate(sample_rate) wf.writeframes((waveform * 32767).astype('int16').tobytes()) wav_data = wav_io.getvalue() # 使用 data: URL 格式推送 yield f"data: {wav_data.hex()}\n\n" @app.route('/api/tts/stream', methods=['POST']) def tts_stream(): data = request.json text = data.get('text', '').strip() if not text: return {'error': 'Empty text'}, 400 return Response( generate_audio_stream(text), mimetype='text/event-stream' )

📌 注释说明： - 使用hex()编码二进制音频数据，确保安全传输 - 每个data:字段对应一个音频片段 - 前端可通过EventSource监听并拼接播放

步骤四：前端 WebUI 流式播放支持

在浏览器端，利用MediaSourceAPI 实现动态追加音频流：

const mediaSource = new MediaSource(); const audio = document.getElementById('audio'); audio.src = URL.createObjectURL(mediaSource); mediaSource.addEventListener('sourceopen', () => { const sourceBuffer = mediaSource.addSourceBuffer('audio/wav;codecs=pcm'); const eventSource = new EventSource('/api/tts/stream', { method: 'POST', body: JSON.stringify({ text: '你好，这是流式语音合成示例' }) }); eventSource.onmessage = (e) => { const wavHex = e.data; const wavBytes = Uint8Array.from(Buffer.from(wavHex, 'hex')); sourceBuffer.appendBuffer(wavBytes); }; });

⚠️ 注意事项： - 需保证每个 WAV 片段包含完整头部信息 - 若使用连续流模式，建议后续改用opus编码减少带宽消耗

⚙️ 性能优化与落地难点

实际延迟测量对比

| 模式 | 平均 TTFA（首包延迟） | 总耗时（100字） | 用户感知 | |------|------------------------|------------------|-----------| | 全量输出 | 2.8s | 4.2s | 明显卡顿 | | 流式输出 |0.9s| 4.0s | 感觉“立刻开始” |

📊 数据来源：Intel Core i7-1165G7, 16GB RAM, Python 3.8 环境实测

关键优化策略

语义切分优化
避免在词语中间断裂（如“人工智能”不能拆成“人工/智能”）
引入 NLP 工具识别命名实体与专有名词
缓存机制引入
对高频短语（如问候语）建立音频缓存池
首次请求后缓存结果，下次直接返回
并发控制
使用线程池限制同时推理任务数，防止资源争抢
设置超时机制避免长时间阻塞
情感一致性保持
同一段落内固定情感标签，避免逐句切换造成语气跳跃

当前局限性分析

尽管流式输出大幅改善了延迟体验，但仍存在边界条件需注意：

| 问题 | 描述 | 应对方案 | |------|------|---------| | 音色不一致 | 不同片段可能因上下文缺失导致音色微变 | 增加上下文缓存窗口 | | 能耗上升 | 频繁调用模型增加 CPU 负载 | 合并短句批量处理 | | 网络抖动影响 | 断流可能导致播放中断 | 前端加入缓冲队列 |