从0到1教你部署Emotion2Vec+，轻松构建语音情绪检测工具

1. 引言：为什么需要语音情绪识别？

在智能客服、心理评估、人机交互等场景中，仅靠文本内容已无法全面理解用户意图。语音中的语调、节奏、情感色彩蕴含着丰富的非语言信息。传统方法依赖人工标注或简单声学特征，效率低且准确率有限。

Emotion2Vec+ Large 是由阿里达摩院 ModelScope 推出的大规模语音情感识别模型，基于42526小时多语种数据训练而成，在中文和英文语音上表现尤为出色。该模型不仅能识别9种基本情绪，还可输出高维 Embedding 特征，支持二次开发与下游任务集成。

本文将带你从零开始，使用“Emotion2Vec+ Large语音情感识别系统二次开发构建by科哥”这一CSDN星图镜像，快速部署本地WebUI服务，并实现音频上传→情绪分析→结果导出的完整流程。

2. 环境准备与一键启动

2.1 镜像环境说明

本镜像基于 Ubuntu 20.04 构建，预装以下组件：

Python 3.8
PyTorch 1.12
Transformers 框架（ModelScope 版）
Gradio 3.42 WebUI 框架
FFmpeg（用于音频格式转换）

模型文件已内置，大小约1.9GB，首次运行时自动加载。

2.2 启动服务命令

登录实例后，执行以下命令即可启动应用：

/bin/bash /root/run.sh

该脚本会完成以下操作：

检查依赖库是否安装
启动 Gradio Web 服务
监听0.0.0.0:7860端口

提示：若端口被占用，请修改/root/app.py中的launch(port=7860)参数。

3. WebUI 使用详解

3.1 访问界面

服务启动成功后，在浏览器中访问：

http://<你的IP地址>:7860

你将看到如下界面：

3.2 支持的情感类型

系统可识别9 种情绪类别，涵盖人类主要情感表达：

情感	英文	Emoji
愤怒	Angry	😠
厌恶	Disgusted	🤢
恐惧	Fearful	😨
快乐	Happy	😊
中性	Neutral	😐
其他	Other	🤔
悲伤	Sad	😢
惊讶	Surprised	😲
未知	Unknown	❓

3.3 核心功能操作流程

第一步：上传音频文件

点击“上传音频文件”区域，选择本地音频，或直接拖拽至上传区。

支持格式：

WAV
MP3
M4A
FLAC
OGG

建议参数：

时长：1–30秒
文件大小：<10MB
单人语音为佳（避免多人对话干扰）

系统会自动将音频重采样为16kHz，适配模型输入要求。

第二步：配置识别参数

粒度选择（Granularity）

utterance（整句级别）
- 对整段音频输出一个总体情绪标签
- 适用于短语音、单句话判断
- 推荐大多数用户使用
frame（帧级别）
- 每20ms进行一次情绪打分，输出时间序列变化
- 可绘制情绪波动曲线
- 适合研究级分析、长音频动态追踪

提取 Embedding 特征

勾选此项后，系统将生成.npy格式的特征向量文件，可用于：

构建情绪相似度检索系统
聚类分析不同说话者的情绪模式
微调下游分类器（如抑郁倾向预测）

第三步：开始识别

点击"🎯 开始识别"按钮，系统执行以下步骤：

音频验证：检查文件完整性
预处理：转码为16kHz WAV
模型推理：加载 Emotion2Vec+ Large 进行前向传播
结果生成：输出 JSON + NPY（可选）

处理耗时：

首次识别：5–10秒（含模型加载）
后续识别：0.5–2秒/条

4. 结果解读与文件导出

4.1 主要情绪结果展示

右侧面板显示最终识别结果，包括：

主情绪标签（带Emoji图标）
置信度百分比（0–100%）
详细得分分布图

示例输出：

😊 快乐 (Happy) 置信度: 85.3%

4.2 详细得分分布

系统返回所有9类情绪的归一化得分（总和为1.0），便于分析混合情绪。

例如某段语音可能同时具有：

快乐：0.68
惊讶：0.22
中性：0.10

表明这是一段带有惊喜成分的积极表达。

4.3 输出文件结构

所有结果保存在outputs/目录下，按时间戳组织：

outputs/ └── outputs_20240104_223000/ ├── processed_audio.wav # 预处理后音频 ├── result.json # 识别结果 └── embedding.npy # 特征向量（可选）

result.json 示例

{ "emotion": "happy", "confidence": 0.853, "scores": { "angry": 0.012, "disgusted": 0.008, "fearful": 0.015, "happy": 0.853, "neutral": 0.045, "other": 0.023, "sad": 0.018, "surprised": 0.021, "unknown": 0.005 }, "granularity": "utterance", "timestamp": "2024-01-04 22:30:00" }

embedding.npy 读取方式

import numpy as np # 加载特征向量 embedding = np.load('outputs/outputs_20240104_223000/embedding.npy') print("Embedding shape:", embedding.shape) # 如 (768,) 或 (T, 768)

可用于后续机器学习任务，如聚类、可视化、分类等。

5. 最佳实践与优化建议

5.1 提升识别准确率的技巧

✅推荐做法：

使用清晰录音，背景噪音小
音频时长控制在3–10秒之间
表情达意明显（如大笑、哭泣）
尽量使用普通话或标准英语

❌应避免的情况：

背景音乐过强
多人同时说话
音频过短（<1秒）或过长（>30秒）
录音设备质量差导致失真

5.2 批量处理策略

目前 WebUI 不支持批量上传，但可通过以下方式实现自动化处理：

编写 Python 脚本调用底层 API
将多个音频依次放入输入目录
调用/root/inference.py直接运行推理函数

示例代码片段：

from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks # 初始化情绪识别管道 inference_pipeline = pipeline( task=Tasks.emotion_recognition, model='iic/emotion2vec_plus_large' ) # 执行推理 result = inference_pipeline(audio_in='path/to/audio.wav') print(result['text']) # 输出情绪标签