SenseVoiceSmall实战案例：智能客服情绪识别系统搭建详细步骤

1. 为什么需要情绪识别的智能客服

你有没有遇到过这样的情况：客服电话里，对方语气明显不耐烦，但系统记录下来的只是一句“请稍等”，完全没体现出真实的情绪状态？或者客户明明在投诉，文字转录却平平淡淡，让后续处理团队误判了问题严重性？

传统语音转文字（ASR）只解决“说了什么”，而现代智能客服真正需要的是“怎么说话”——是带着笑意说“好的”，还是咬着牙说“好的”，这背后的情绪信号，直接决定了服务响应的优先级和处理方式。

SenseVoiceSmall 就是为这个需求而生的。它不是简单的语音识别工具，而是一个能听懂语气、分辨笑声、捕捉愤怒停顿、甚至识别背景掌声的“耳朵”。在客服场景中，这意味着：

客户一开口带怒意，系统自动标红并推送给高级客服；
听到连续笑声，判断为满意反馈，自动归类为正面评价；
检测到BGM+人声混合，提醒坐席注意环境干扰，主动确认通话质量。

这篇文章不讲理论，不堆参数，就带你从零开始，用一份可运行的代码，在本地或云服务器上，亲手搭起一个能实时识别情绪的智能客服语音分析系统。整个过程不需要训练模型，不调超参，只要你会复制粘贴、会点鼠标，就能看到结果。

2. SenseVoiceSmall 是什么：不止于“听清”，更在于“听懂”

SenseVoiceSmall 是阿里巴巴达摩院开源的一款轻量级多语言语音理解模型。它的名字里带“Small”，但能力一点都不小——它把过去需要多个模型串联完成的任务，压缩进一个模型里：语音识别 + 标点恢复 + 情感分类 + 声音事件检测，全部端到端搞定。

你可以把它理解成一位经验丰富的客服质检员：

听一段30秒的客户来电，它不仅能准确写出“我上周买的耳机今天又没声音了”，还能立刻标注出这句话前半句语速快、音调升高（<|ANGRY|>），后半句语气下沉、有轻微叹气（<|SAD|>）；
如果中间穿插了两声“啪啪”掌声，它会单独标记为<|APPLAUSE|>；
如果背景有隐约的咖啡馆音乐，它会标出<|BGM|>；
甚至能区分粤语里的“唔该”和日语里的“ありがとう”，自动切换语言模式。

更重要的是，它支持中文、英文、粤语、日语、韩语五种语言，且无需提前指定——选“auto”模式，它自己判断。这对多语种客服中心来说，省去了人工预设语言的麻烦，也避免了因语言误判导致的识别崩坏。

它不是靠后期规则匹配“生气关键词”，而是模型在训练时就学到了声学特征与情绪标签的深层关联。比如：高频能量集中+短促停顿+基频突升，大概率对应愤怒；而长元音拖尾+基频平稳下降，则倾向悲伤。这种感知能力，让识别结果更稳定、更少被个别字词误导。

3. 三步完成部署：从镜像启动到Web界面可用

这套系统不需要你从头配置Python环境、下载模型权重、编译CUDA扩展。我们用的是已预装所有依赖的CSDN星图镜像，核心操作只有三步，全程在终端里敲几行命令。

3.1 确认镜像已就绪并进入工作目录

首先，确保你已在CSDN星图平台成功启动 SenseVoiceSmall 镜像实例，并通过SSH连接到该服务器。登录后，执行：

nvidia-smi

看到GPU信息（如A10、4090D等）说明CUDA环境正常。接着进入默认工作目录：

cd /root/sensevoice-demo

这个目录下已经预置了基础依赖（PyTorch 2.5、funasr、gradio、av、ffmpeg），你不用再pip install一堆包——这是镜像最大的便利之处。

3.2 创建并运行 WebUI 脚本

我们用app_sensevoice.py这个文件来启动可视化界面。它做了四件事：加载模型、定义识别函数、构建网页表单、启动服务。现在，我们把它写出来：

vim app_sensevoice.py

将以下完整代码粘贴进去（注意：不要漏掉任何引号或括号）：

import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess import os # 初始化 SenseVoiceSmall 模型（自动从ModelScope下载） model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 强制使用GPU加速 ) def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" # 执行识别：输入音频路径 + 指定语言（auto为自动识别） res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, batch_size_s=60, merge_vad=True, merge_length_s=15, ) # 对原始输出做富文本清洗（把<|HAPPY|>变成【开心】） if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败或音频无效" # 构建Gradio界面 with gr.Blocks(title="SenseVoice 智能语音识别控制台") as demo: gr.Markdown("# 🎙 SenseVoice 智能客服情绪识别系统") gr.Markdown(""" **本系统可实时分析客服通话中的：** 多语种语音转写（中/英/粤/日/韩） 情绪识别（开心/愤怒/悲伤/中性） 声音事件检测（掌声/笑声/BGM/哭声） 自动添加标点与分段 """) with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="上传客服录音（WAV/MP3/M4A）") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言模式（推荐选 auto）" ) submit_btn = gr.Button(" 开始情绪分析", variant="primary") with gr.Column(): text_output = gr.Textbox( label="分析结果（含情绪与事件标签）", lines=12, placeholder="识别结果将显示在这里，例如：【开心】您好，感谢您的耐心等待！<|APPLAUSE|>" ) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) # 启动服务，监听所有网络接口，端口6006 demo.launch(server_name="0.0.0.0", server_port=6006, share=False)

保存退出（:wq），然后直接运行：

python app_sensevoice.py

你会看到类似这样的输出：

Running on local URL: http://127.0.0.1:6006 To create a public link, set `share=True` in `launch()`.

说明服务已成功启动。

3.3 本地访问 Web 界面

由于云服务器默认不开放6006端口给公网，我们需要用SSH隧道把远程端口映射到本地。在你自己的笔记本电脑（Windows/macOS/Linux）终端中执行（替换为你的实际IP和端口）：

ssh -L 6006:127.0.0.1:6006 -p 22 root@your-server-ip

输入密码后，保持这个终端窗口打开（不要关闭SSH连接）。然后，在本地浏览器中打开：

http://127.0.0.1:6006

你将看到一个简洁的网页界面：左侧上传音频，右侧显示带情绪标签的识别结果。这就是你的智能客服情绪识别系统，已正式上线。

4. 实战测试：用真实客服录音验证效果

光看界面不够，我们来跑几个真实案例。你可以在手机上录一段模拟客服对话，或者用下面这三个典型样本快速验证（建议先试第一个）：

4.1 测试样本准备（3个典型场景）

场景	描述	推荐语言模式	预期关键标签
样本1：客户投诉	“我昨天刚买的充电宝充不进电，你们这质量也太差了吧！”（语速快、音调高、有停顿）	auto	`<
样本2：客户表扬	“客服小姐姐态度特别好，问题一下就解决了，谢谢啊！”（语速适中、尾音上扬）	auto	`<
样本3：多语种混合	“Hello, I need to check my order… 我的订单号是12345…”	auto	自动切分中英文段落，分别标注

小技巧：用手机录音时，尽量用WAV格式（无损），或MP3（比特率≥128kbps）。避免用微信语音转发——它会二次压缩，丢失大量声学细节，影响情绪识别准确率。

4.2 上传与结果解读

点击界面左上角“Upload”按钮，选择你的音频文件，点击“ 开始情绪分析”。

几秒后，右侧会出现类似这样的结果：

【愤怒】我昨天刚买的充电宝充不进电！<|ANGRY|> 【失望】你们这质量也太差了吧……<|SAD|>

注意看方括号【】和尖括号<| |>的区别：

【】是rich_transcription_postprocess清洗后的可读格式，适合人工查看；
<|ANGRY|> 是模型原始输出的结构化标签，方便程序解析（比如后台自动触发升级工单）。

再试试样本2，你可能会看到：

【开心】客服小姐姐态度特别好！<|HAPPY|> 【满意】问题一下就解决了，谢谢啊！<|HAPPY|>

如果录音里真有同事鼓掌，还会出现<|APPLAUSE|>。这些标签不是靠关键词匹配，而是模型从声纹特征中“听”出来的，所以即使客户没说“我很生气”，系统也能从语气中感知到。

5. 如何把结果用起来：从识别到行动

识别出情绪只是第一步。真正的价值，在于让这些结果驱动业务动作。以下是三个即插即用的落地思路，无需额外开发：

5.1 客服坐席实时提示（低代码方案）

在Gradio界面右侧结果框下方，加一行HTML提示（修改app_sensevoice.py中的gr.Textbox后面）：

status_box = gr.Label(label="当前情绪状态", value="等待分析...") submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=[text_output, status_box] )

并在sensevoice_process函数末尾，根据标签返回不同状态：

# 在函数末尾添加 if "<|ANGRY|>" in raw_text or "<|SAD|>" in raw_text: status = " 高风险：客户情绪负面" elif "<|HAPPY|>" in raw_text: status = " 正向反馈：客户满意" else: status = "ℹ 中性状态：继续观察" return clean_text, status

这样，坐席一上传录音，界面右下角就实时显示“ 高风险”，提醒她切换话术、拉长倾听时间。

5.2 自动生成质检报告（Excel导出）

Gradio本身不支持导出，但我们加一行代码就能实现。在app_sensevoice.py底部，demo.launch()前插入：

import pandas as pd from datetime import datetime def export_to_excel(text_result): if not text_result or "请先上传" in text_result: return None df = pd.DataFrame({ "时间": [datetime.now().strftime("%Y-%m-%d %H:%M:%S")], "原始识别": [text_result], "情绪摘要": ["、".join([t for t in ["开心","愤怒","悲伤"] if t in text_result else []])] }) filename = f"客服质检_{datetime.now().strftime('%Y%m%d_%H%M%S')}.xlsx" df.to_excel(filename, index=False) return filename with gr.Column(): export_btn = gr.Button(" 导出质检报告（Excel）") export_file = gr.File(label="下载文件") export_btn.click( fn=export_to_excel, inputs=text_output, outputs=export_file )

点击“ 导出质检报告”，自动生成带时间戳的Excel，包含原始文本和情绪关键词，可直接发给质检主管。

5.3 对接企业微信/钉钉告警（API化改造）

如果你有IT支持，只需把sensevoice_process函数封装成HTTP接口。用FastAPI几行代码就能搞定：

from fastapi import FastAPI, UploadFile, File import uvicorn app = FastAPI() @app.post("/analyze") async def analyze_audio(file: UploadFile = File(...), language: str = "auto"): # 临时保存上传的音频 temp_path = f"/tmp/{file.filename}" with open(temp_path, "wb") as f: f.write(await file.read()) # 复用原来的识别逻辑 res = model.generate(input=temp_path, language=language) clean = rich_transcription_postprocess(res[0]["text"]) if res else "" # 判断是否需告警 if "<|ANGRY|>" in clean or "<|SAD|>" in clean: # 这里调用企业微信机器人Webhook import requests requests.post("https://qyapi.weixin.qq.com/...", json={ "msgtype": "text", "text": {"content": f" 高风险通话预警：{clean[:50]}..."} }) return {"result": clean}

部署后，客服系统每通电话结束，自动调用这个/analyze接口，负面情绪实时推送至管理群。

6. 常见问题与避坑指南

在真实部署中，你可能会遇到这几个高频问题。它们都不难解决，但提前知道能省下大半天调试时间。

6.1 为什么上传MP3后显示“识别失败”？

最常见原因是音频采样率不匹配。SenseVoiceSmall 最佳输入是16kHz单声道WAV。MP3虽被支持，但部分编码器（尤其是手机录的）会生成44.1kHz双声道，导致解码失败。

解决方案：用FFmpeg一键转码（在服务器上执行）：

ffmpeg -i input.mp3 -ar 16000 -ac 1 -acodec pcm_s16le output.wav

然后上传output.wav即可。你也可以把这个命令集成进Gradio，让用户上传后自动转码——但这属于进阶优化，首次搭建跳过即可。

6.2 “auto”语言模式总识别错，怎么办？

自动语言识别（ALM）在短音频（<3秒）或噪音大时容易误判。比如客户只说“喂？”，模型可能把粤语“喂”当成日语“はい”。

推荐做法：

对已知语种的客服线路（如纯中文热线），直接在下拉菜单中选zh；
对混合线路，保留auto，但要求坐席在开场白中说一句标准语种句子（如“您好，这里是XX客服，请问有什么可以帮您？”），给模型足够上下文。

6.3 GPU显存不足，报错“out of memory”？

SenseVoiceSmall 在4090D上仅需约3GB显存，但如果你同时运行其他模型（如Stable Diffusion），可能挤占资源。

快速释放：

关闭其他占用GPU的进程：nvidia-smi查看PID，kill -9 PID；
或在模型加载时指定更低精度：在AutoModel(...)中加入fp16=True参数，显存占用可降30%。

6.4 结果里没有情感标签，全是普通文字？

检查两点：

你用的是iic/SenseVoiceSmall，不是iic/paraformer-zh（后者是纯ASR，无情感）；
rich_transcription_postprocess是否被正确调用——确认代码中没有注释掉这行，且res[0]["text"]确实包含<|xxx|>字符串（可在函数里加print(raw_text)调试）。