数据集处理技巧：为Sambert-Hifigan定制情感标注语音训练流程

🎯 业务场景与核心痛点

在当前智能语音交互系统中，情感化语音合成（Emotional Text-to-Speech, E-TTS）已成为提升用户体验的关键能力。传统TTS系统输出的语音往往“机械感”强，缺乏情绪表达，难以满足客服、虚拟主播、有声阅读等高互动性场景的需求。

基于ModelScope 的 Sambert-Hifigan 中文多情感模型，我们构建了一套完整的语音合成服务，支持通过Web界面和API接口实现高质量的情感语音生成。然而，在实际训练过程中，一个常被忽视但至关重要的环节是——如何构建高质量、结构清晰、标签准确的情感语音数据集。

本文将聚焦于数据集预处理阶段的技术实践，深入讲解如何为 Sambert-Hifigan 模型定制一套高效、可扩展的情感标注语音训练流程，涵盖音频清洗、文本对齐、情感标签注入、元数据组织等关键步骤，并提供完整代码示例与工程建议。

🧩 技术选型背景：为何选择 Sambert-Hifigan？

Sambert-Hifigan 是 ModelScope 推出的一套端到端中文语音合成框架，由两部分组成：

Sambert：基于Transformer的声学模型，负责从文本生成梅尔频谱图
Hifigan：神经声码器，将梅尔频谱还原为高保真波形

该模型支持多情感合成（如高兴、悲伤、愤怒、平静等），具备自然度高、语调丰富、易于部署等特点。但在自定义训练时，其对训练数据的格式、标注一致性要求极高。

常见问题： - 音频与文本不匹配 - 情感标签命名混乱或缺失 - 文件路径层级复杂导致加载失败 - 元数据JSON结构不符合训练脚本预期

因此，构建标准化的数据预处理流程，是确保模型收敛稳定、情感表达准确的前提。

🛠️ 定制化情感语音训练数据处理全流程

1. 原始数据结构设计

我们假设原始数据包含以下内容：

dataset/ ├── audio/ # 存放.wav音频文件 │ ├── happy_001.wav │ ├── sad_002.wav │ └── angry_003.wav ├── text.txt # 文本标注文件（ID + 文本） └── metadata.json # 最终输出的训练元数据

每条音频对应一段中文文本和一个情感标签。目标是生成符合 Sambert-Hifigan 训练脚本读取格式的metadata.json，结构如下：

[ { "audio": "audio/happy_001.wav", "text": "今天天气真好，我特别开心！", "emotion": "happy" }, ... ]

2. 数据清洗与音频校验

首先需确保所有音频文件有效且采样率一致（Sambert-Hifigan 要求 24kHz）。使用pydub和librosa进行批量检查与重采样。

import os from pydub import AudioSegment import librosa def validate_and_resample(audio_path, target_sr=24000): try: # 使用 pydub 加载（兼容更多格式） audio = AudioSegment.from_file(audio_path) if audio.frame_rate != target_sr: # 导出为临时 wav 并用 librosa 重采样 temp_wav = audio.set_frame_rate(target_sr) temp_wav.export(audio_path, format="wav") return True except Exception as e: print(f"❌ 无法处理音频: {audio_path}, 错误: {e}") return False # 批量处理 audio_dir = "dataset/audio" for file in os.listdir(audio_dir): if file.endswith(".wav"): validate_and_resample(os.path.join(audio_dir, file))

✅最佳实践建议：
在数据采集阶段即统一录音设备与环境，避免后期大量修复工作。

3. 文本标注与对齐验证

创建text.txt文件，采用|分隔字段：

happy_001|今天天气真好，我特别开心！ sad_002|听到这个消息，我心里很难过。 angry_003|你怎么能这样对我？太让我生气了！

编写脚本进行音频-文本对齐校验：

def load_text_mapping(text_file): mapping = {} with open(text_file, 'r', encoding='utf-8') as f: for line in f: parts = line.strip().split('|') if len(parts) == 2: audio_id = parts[0] text = parts[1] mapping[audio_id + ".wav"] = text return mapping text_map = load_text_mapping("dataset/text.txt") missing_texts = [] for audio_file in os.listdir("dataset/audio"): if audio_file not in text_map: missing_texts.append(audio_file) if missing_texts: print(f"⚠️ 以下音频缺少对应文本: {missing_texts}")

🔍提示：可结合 ASR 自动识别音频内容，辅助发现错配样本。

4. 情感标签提取策略

情感标签通常嵌入在文件名或独立标注表中。以下是三种常见方式及推荐方案：

| 方式 | 说明 | 推荐度 | |------|------|--------| | 文件名前缀 |happy_001.wav| ⭐⭐⭐⭐☆ 易解析，直观 | | 单独CSV标注表 |id,emotion,duration| ⭐⭐⭐⭐☆ 灵活，适合大规模 | | 目录分类 |/audio/happy/,/audio/sad/| ⭐⭐☆☆☆ 不利于混合训练 |

推荐使用文件名前缀法 + 标注表备份双保险机制。

import re EMOTION_MAP = { 'happy': 'happy', 'sad': 'sad', 'angry': 'angry', 'neutral': 'neutral' } def extract_emotion_from_filename(filename): name = os.path.splitext(filename)[0] for key in EMOTION_MAP: if name.lower().startswith(key): return EMOTION_MAP[key] return "neutral" # 默认情感

5. 构建标准 metadata.json

整合音频路径、文本、情感标签，生成最终训练元数据：

import json def build_metadata(audio_dir, text_file, output_json="metadata.json"): text_map = load_text_mapping(text_file) metadata = [] for audio_file in os.listdir(audio_dir): if not audio_file.endswith(".wav"): continue full_path = os.path.join("audio", audio_file).replace("\\", "/") text = text_map.get(audio_file, "").strip() emotion = extract_emotion_from_filename(audio_file) if not text: print(f"⚠️ 缺失文本: {audio_file}") continue metadata.append({ "audio": full_path, "text": text, "emotion": emotion }) # 保存为 JSON with open(output_json, 'w', encoding='utf-8') as f: json.dump(metadata, f, ensure_ascii=False, indent=2) print(f"✅ 元数据已生成: {output_json}，共 {len(metadata)} 条记录") # 执行构建 build_metadata("dataset/audio", "dataset/text.txt", "metadata.json")

6. 数据集划分：训练集 / 验证集

为监控模型过拟合情况，需按比例划分数据集（如 9:1）：

from sklearn.model_selection import train_test_split # 读取完整 metadata with open("metadata.json", "r", encoding="utf-8") as f: data = json.load(f) train_data, val_data = train_test_split( data, test_size=0.1, random_state=42, shuffle=True ) with open("metadata_train.json", "w", encoding="utf-8") as f: json.dump(train_data, f, ensure_ascii=False, indent=2) with open("metadata_val.json", "w", encoding="utf-8") as f: json.dump(val_data, f, ensure_ascii=False, indent=2) print(f"📊 训练集: {len(train_data)} 条 | 验证集: {len(val_data)} 条")

💡建议：保持各情感类别的分布均衡，避免某类情感占比过高。

🔄 与 Flask WebUI & API 的集成衔接

在完成训练后，模型可用于推理服务。我们已封装Flask WebUI + REST API双模式服务，支持情感参数传入。

示例 API 请求体

{ "text": "我要去旅行了，超级兴奋！", "emotion": "happy", "speed": 1.0 }

后端接收逻辑片段（app.py）

@app.route('/tts', methods=['POST']) def tts(): data = request.json text = data.get('text', '').strip() emotion = data.get('emotion', 'neutral') if not text: return jsonify({"error": "文本不能为空"}), 400 # 调用 Sambert-Hifigan 推理函数 wav_path = synthesize(text, emotion=emotion) return send_file(wav_path, as_attachment=True, download_name="speech.wav")

✅优势：前端可通过下拉框选择情感类型，实现“一键切换语气”的交互体验。

⚠️ 实践中的典型问题与解决方案

| 问题现象 | 根本原因 | 解决方案 | |--------|---------|----------| | 模型无法识别情感标签 | 标签未正确注入 embedding 层 | 检查token2id是否包含 emotion tokens | | 合成语音断句异常 | 文本中含有英文标点或特殊符号 | 预处理时统一替换为中文标点 | | OOM 内存溢出 | 批次过大或音频过长 | 设置最大长度max_duration=15s| | 多音字发音错误 | 缺乏拼音标注 | 引入pypinyin进行音素级标注（进阶） | | 训练启动报错ModuleNotFoundError| 依赖版本冲突 | 固定datasets==2.13.0,numpy==1.23.5,scipy<1.13|