一句话识别多种情绪？SenseVoiceSmall HAPPY/ANGRY检测实战

1. 引言：多语言语音理解的新范式

在智能语音交互日益普及的今天，传统的语音识别（ASR）系统已无法满足复杂场景下的语义理解需求。用户不仅希望知道“说了什么”，更关心“以什么样的情绪说”以及“周围环境如何”。阿里巴巴达摩院推出的SenseVoiceSmall模型正是为解决这一问题而生。

该模型不仅具备高精度的多语言语音转写能力，还集成了情感识别与声音事件检测功能，真正实现了从“听清”到“听懂”的跨越。本文将围绕其开源版本展开实战部署，重点演示如何通过 Gradio 快速构建一个支持 HAPPY、ANGRY 等情绪识别的可视化 Web 应用，并分析其技术实现逻辑与工程优化要点。

2. 技术架构与核心能力解析

2.1 模型背景与设计理念

SenseVoiceSmall 是阿里云 IIC 团队发布的一款轻量级富文本语音理解模型，基于非自回归架构设计，在保证低延迟的同时实现了丰富的上下文感知能力。相比传统 ASR 模型仅输出文字内容，SenseVoice 的输出包含三类关键信息：

文本内容：准确的文字转录
情感标签：如<|HAPPY|>、<|ANGRY|>、<|SAD|>
声音事件：如<|BGM|>、<|APPLAUSE|>、<|LAUGHTER|>

这种“富文本转录”（Rich Transcription）机制使得模型适用于客服质检、情感陪伴机器人、视频内容分析等高级应用场景。

2.2 多语言与多任务支持能力

特性	支持情况
支持语种	中文、英文、粤语、日语、韩语
情感识别	HAPPY、ANGRY、SAD、NEUTRAL 等
声音事件	BGM、APPLAUSE、LAUGHTER、CRY
架构类型	非自回归（Non-Autoregressive）
推理速度	在 RTX 4090D 上可达秒级处理

得益于其统一建模方式，所有任务共享同一套参数体系，无需额外后处理模块即可完成多任务联合推理。

2.3 核心依赖与运行环境

为了确保模型高效运行，镜像中预置了以下关键组件：

Python 3.11：兼容最新生态工具链
PyTorch 2.5：提供 GPU 加速支持
FunASR SDK：官方推荐的语音处理框架
ModelScope Hub：用于自动下载模型权重
Gradio：快速搭建交互式界面
FFmpeg / av：音频解码与重采样支持

这些组件共同构成了一个开箱即用的语音理解平台。

3. 实战部署：构建情绪识别 WebUI

3.1 初始化模型实例

首先通过funasr.AutoModel加载 SenseVoiceSmall 模型，配置 VAD（Voice Activity Detection）参数以提升长音频处理稳定性：

from funasr import AutoModel model = AutoModel( model="iic/SenseVoiceSmall", trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 使用 GPU 加速 )

提示：设置trust_remote_code=True可自动加载远程定义的模型结构，避免本地文件缺失问题。

3.2 完整 Web 应用代码实现

以下是基于 Gradio 封装的完整应用脚本，支持上传音频、选择语言并返回带情感标签的结果：

# app_sensevoice.py import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess import os # 初始化模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", ) def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, batch_size_s=60, merge_vad=True, merge_length_s=15, ) if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败" with gr.Blocks(title="SenseVoice 多语言语音识别") as demo: gr.Markdown("# 🎙️ SenseVoice 智能语音识别控制台") gr.Markdown(""" **功能特色：** - 🚀 **多语言支持**：中、英、日、韩、粤语自动识别。 - 🎭 **情感识别**：自动检测音频中的开心、愤怒、悲伤等情绪。 - 🎸 **声音事件**：自动标注 BGM、掌声、笑声、哭声等。 """) with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="上传音频或直接录音") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择 (auto 为自动识别)" ) submit_btn = gr.Button("开始 AI 识别", variant="primary") with gr.Column(): text_output = gr.Textbox(label="识别结果 (含情感与事件标签)", lines=15) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) demo.launch(server_name="0.0.0.0", server_port=6006)

3.3 启动服务与访问方式

执行以下命令启动服务：

python app_sensevoice.py

由于多数云平台限制公网直接访问，需通过 SSH 隧道进行本地映射：

ssh -L 6006:127.0.0.1:6006 -p [SSH端口] root@[服务器IP]

随后在本地浏览器打开： 👉 http://127.0.0.1:6006

即可进入交互页面，上传任意音频测试情感识别效果。

4. 关键技术细节与优化建议

4.1 富文本后处理机制

原始模型输出包含大量特殊标记，例如：

<|zh|><|HAPPY|><|speech|>今天天气真好啊<|laughter|><|music|>

使用rich_transcription_postprocess函数可将其转换为更易读的形式：

from funasr.utils.postprocess_utils import rich_transcription_postprocess clean_text = rich_transcription_postprocess("<|zh|><|HAPPY|>...") print(clean_text) # 输出：[HAPPY] 今天天气真好啊 [LAUGHTER] [BGM]

该函数会自动清洗语言码、格式化情感和事件标签，极大提升了结果可读性。

4.2 音频预处理最佳实践

尽管模型内置重采样逻辑，但仍建议输入音频满足以下条件：

采样率：16kHz（理想）
编码格式：WAV 或 MP3
单声道优先（立体声也可接受）

若使用 FFmpeg 手动转换：

ffmpeg -i input.mp3 -ar 16000 -ac 1 output.wav

可显著减少解码失败风险。

4.3 性能调优参数说明

参数	推荐值	说明
`batch_size_s`	60	每批次处理的音频时长（秒），影响内存占用
`merge_vad`	True	是否合并相邻语音段
`merge_length_s`	15	最小合并片段长度
`use_itn`	True	是否启用 ITN（Inverse Text Normalization）数字还原