零基础搭建语音情感识别系统，SenseVoiceSmall镜像开箱即用

你有没有遇到过这样的场景：一段客服录音，不仅要听清说了什么，还要判断客户是满意还是愤怒？或者一段视频素材，想自动标记出笑声、掌声出现的时间点？传统语音识别只能转文字，而真实业务需要的是“听得懂情绪、看得见氛围”的智能理解能力。

现在，这一切变得异常简单。阿里达摩院开源的SenseVoiceSmall模型，不仅能高精度识别中、英、日、韩、粤语，还能同步检测说话人的情绪（开心、愤怒、悲伤）和环境音事件（BGM、掌声、笑声）。更关键的是——通过预置镜像，你可以零代码、零配置，5分钟内完成部署，直接在浏览器里使用。

本文将带你从完全小白的角度，一步步启动这个强大的语音理解系统，无需任何深度学习背景，也能立刻上手实战。

1. 为什么你需要语音情感识别？

1.1 传统语音识别的局限

我们熟悉的语音转文字工具，比如常见的ASR系统，解决的是“说了什么”的问题。但它无法回答：

这句话是笑着说的，还是带着怒气说的？
背景里的音乐是轻松的还是紧张的？
听众是在鼓掌认可，还是在哄笑嘲讽？

这些信息藏在声音的语调、节奏、环境背景中，而人类正是靠这些线索来理解真实意图的。机器如果只听字面意思，很容易误判。

1.2 富文本语音识别：让机器“听懂”情绪

SenseVoiceSmall 提出的“富文本识别”（Rich Transcription）概念，正是为了解决这个问题。它不只是转写文字，而是输出带有情感标签和声音事件标记的结构化内容。

举个例子：

[LAUGHTER] 哈哈哈，这太搞笑了！[HAPPY] 真是太棒了！[APPLAUSE]

你看，这段输出不仅告诉你说了什么，还清楚地标记出：

什么时候笑了
情绪是开心的
后面有掌声

这种能力，在客服质检、视频内容分析、智能会议记录、心理评估等场景中，价值巨大。

2. SenseVoiceSmall 镜像核心特性

2.1 多语言高精度识别

该模型基于超过40万小时的多语言数据训练，支持以下语种：

中文（普通话）
英语
粤语
日语
韩语

在实际测试中，其识别准确率优于 Whisper 系列模型，尤其在嘈杂环境和口音处理上表现突出。

2.2 情感与声音事件双引擎

这是 SenseVoice 的最大亮点。它内置两个并行识别通道：

类型	支持标签
情感识别	HAPPY（开心）、ANGRY（愤怒）、SAD（悲伤）、NEUTRAL（中性）等
声音事件	BGM（背景音乐）、APPLAUSE（掌声）、LAUGHTER（笑声）、CRY（哭声）、COUGH（咳嗽）等

这些标签会直接嵌入到转录文本中，形成“带情绪的文字流”，极大提升后续分析效率。

2.3 极致推理速度

采用非自回归架构，推理延迟极低。实测在 NVIDIA 4090D 显卡上，10秒音频的处理时间仅需约70毫秒，比 Whisper-Large 快15倍以上。这意味着它可以轻松应对实时语音流处理需求。

2.4 开箱即用的 Gradio WebUI

最贴心的是，镜像已集成 Gradio 可视化界面。你不需要写一行代码，只需上传音频文件，点击按钮，就能看到带情感标签的识别结果。整个过程就像使用一个网页版语音助手。

3. 快速部署：三步启动 Web 服务

3.1 启动镜像并进入环境

假设你已经通过云平台或本地 Docker 启动了SenseVoiceSmall镜像，并进入了终端环境。

首先，确保必要的依赖已安装：

pip install av gradio

这两个库用于音频解码和网页交互，大多数镜像已预装，但执行一次可避免运行时报错。

3.2 创建 Web 交互脚本

接下来，我们创建一个名为app_sensevoice.py的 Python 文件，用于启动可视化界面。

# app_sensevoice.py import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess # 初始化模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 使用 GPU 加速 ) def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" # 调用模型生成结果 res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, batch_size_s=60, merge_vad=True, merge_length_s=15, ) # 后处理：将原始标签转换为易读格式 if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败" # 构建网页界面 with gr.Blocks(title="SenseVoice 智能语音识别") as demo: gr.Markdown("# 🎙 SenseVoice 多语言语音识别控制台") gr.Markdown(""" **功能特色：** - **多语言支持**：中、英、日、韩、粤语自动识别。 - 🎭 **情感识别**：自动检测开心、愤怒、悲伤等情绪。 - 🎸 **声音事件**：自动标注 BGM、掌声、笑声、哭声等。 """) with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="上传音频或直接录音") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择 (auto 为自动识别)" ) submit_btn = gr.Button("开始 AI 识别", variant="primary") with gr.Column(): text_output = gr.Textbox(label="识别结果 (含情感与事件标签)", lines=15) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) # 启动服务 demo.launch(server_name="0.0.0.0", server_port=6006)

3.3 运行服务

保存文件后，在终端执行：

python app_sensevoice.py

你会看到类似以下的日志输出：

Running on local URL: http://0.0.0.0:6006 This share link expires in 7 days

说明服务已成功启动，正在监听6006端口。

4. 本地访问 Web 界面

由于大多数服务器出于安全考虑不直接暴露端口，你需要通过 SSH 隧道将远程服务映射到本地。

在你的本地电脑终端执行以下命令（请替换[端口号]和[SSH地址]为实际值）：

ssh -L 6006:127.0.0.1:6006 -p [端口号] root@[SSH地址]

连接成功后，打开浏览器访问：

http://127.0.0.1:6006

你会看到一个简洁的网页界面，可以上传音频文件或直接录音，选择语言后点击“开始 AI 识别”，几秒钟内就能看到带情感标签的识别结果。

5. 实际效果演示与解读

5.1 测试音频准备

找一段包含多种情绪和背景音的录音，比如：

一段朋友聚会的聊天（有笑声、背景音乐）
一段客服通话（可能有抱怨、愤怒）
一段演讲视频（有掌声、欢呼）

建议使用 16kHz 采样率的 WAV 或 MP3 格式，模型会自动重采样，但原始质量越高，识别效果越好。

5.2 识别结果示例

上传一段聚会录音后，系统返回如下内容：

[LAUGHTER] 哇！真的假的？[HAPPY] 太惊喜了！[BGM: light_music] [APPLAUSE] 来来来，祝你生日快乐！[HAPPY][LAUGHTER]

我们可以清晰地看到：

[LAUGHTER]表示笑声出现
[HAPPY]表示情绪积极
[BGM: light_music]表示背景是轻音乐
[APPLAUSE]表示掌声

这些标签可以直接用于后续的内容打标、情绪分析、视频剪辑定位等任务。

5.3 如何理解情感标签？

模型输出的情感是基于声学特征的统计判断，不是主观评价。它主要依据：

语调高低起伏
语速快慢
音量强弱
声音稳定性（颤抖、停顿等）

因此，即使你说“我很好”，但如果语调低沉、语速缓慢，系统仍可能标记为[SAD]。这恰恰说明它“听出了”你语气中的不对劲。

6. 使用技巧与优化建议

6.1 语言选择策略

auto：适合混合语种或不确定语种的场景，模型会自动判断
明确指定：如确定是粤语对话，选yue可提升识别准确率
避免错误匹配：不要在普通话场景下强制选yue，否则可能导致识别混乱

6.2 音频预处理建议

虽然模型支持自动重采样，但以下做法能提升效果：

尽量使用 16kHz 单声道音频
减少背景噪音（可用 Audacity 等工具降噪）
避免过度压缩的音频（如超低码率 MP3）

6.3 批量处理思路

当前 WebUI 是单文件交互，如需批量处理，可编写简单脚本：

import os from funasr import AutoModel model = AutoModel(model="iic/SenseVoiceSmall", device="cuda:0") audio_files = ["1.wav", "2.wav", "3.wav"] for file in audio_files: res = model.generate(input=file, language="auto") text = rich_transcription_postprocess(res[0]["text"]) print(f"{file}: {text}")

6.4 结果后处理

原始输出中的标签如[HAPPY]可以进一步清洗，转化为结构化数据：

import re def extract_emotions(text): return re.findall(r'\[(HAPPY|ANGRY|SAD|NEUTRAL)\]', text) def extract_events(text): return re.findall(r'\[(BGM|APPLAUSE|LAUGHTER|CRY)\]', text)

这样就能将语音内容转化为可用于数据分析的 JSON 格式。