用SenseVoiceSmall做访谈语音分析，情感波动可视化展示

1. 背景与需求：从“听清”到“听懂”的语音分析升级

在媒体内容生产、心理咨询、用户调研等场景中，访谈类音频的处理早已不再满足于简单的文字转录。传统ASR（自动语音识别）技术虽然能准确还原说话内容，却无法捕捉对话中的情绪起伏和环境信息——而这恰恰是理解沟通本质的关键。

例如，在一次深度用户访谈中，受访者口头说“这个功能还不错”，但语气低沉、语速迟缓，甚至夹杂轻微叹气声。如果仅依赖文本，我们可能误判其真实态度；而若能结合情感识别与声音事件检测能力，则可精准判断其实际反馈为“勉强接受”或“隐性不满”。

阿里达摩院开源的SenseVoiceSmall模型为此类需求提供了强大支持。它不仅具备高精度多语言语音识别能力，更集成了富文本标注功能，能够输出：

• 说话人的情绪状态（如开心、愤怒、悲伤）
• 环境中的声音事件（如掌声、笑声、背景音乐）

本文将围绕一个典型应用场景——访谈语音的情感波动分析与可视化展示，详细介绍如何基于 SenseVoiceSmall 构建完整的语音智能分析流程，并通过 Gradio 实现交互式结果呈现。

2. 技术选型解析：为什么选择 SenseVoiceSmall？

2.1 多模态语音理解的核心优势

相较于主流语音识别模型（如 Whisper），SenseVoiceSmall 的核心差异化在于其“感知力”：

这种设计使得 SenseVoiceSmall 更适合用于需要“理解语义背后情绪”的高级分析任务。

2.2 模型轻量化与工程实用性

尽管功能丰富，SenseVoiceSmall 并未牺牲性能。其采用非自回归架构，在 NVIDIA 4090D 上可实现秒级长音频转写，远快于传统自回归模型。对于单次30分钟以内的访谈录音，平均处理时间控制在10秒以内，完全满足实时或准实时分析需求。

此外，该模型已集成至 FunASR 工具链，提供简洁 API 调用接口，极大降低了部署门槛。

3. 实践应用：构建访谈语音情感分析系统

3.1 系统目标与整体架构

我们的目标是开发一套端到端的访谈语音分析工具，具备以下能力：

• 支持上传本地音频文件进行自动转录
• 输出带情感与事件标签的文字记录
• 提取情感变化时间线并生成可视化图表
• 提供 Web 可视化界面，便于非技术人员使用

系统架构如下：

[音频输入] ↓ [SenseVoiceSmall 模型推理] ↓ [富文本后处理 → 清洗标签] ↓ [情感标签提取 + 时间戳对齐] ↓ [Matplotlib 绘制情感波动曲线] ↑ [Gradio WebUI 展示结果]

3.2 核心代码实现

步骤一：初始化模型与定义处理函数

import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess import re import json from datetime import timedelta import matplotlib.pyplot as plt import numpy as np import io import base64

# 初始化模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 使用GPU加速 )

步骤二：定义主处理逻辑（含情感提取）

def sensevoice_process_with_emotion_viz(audio_path, language): if audio_path is None: return "请先上传音频文件", None # 执行语音识别 res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, batch_size_s=60, merge_vad=True, merge_length_s=15, ) if len(res) == 0: return "识别失败", None raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) # 提取原始标签用于情感分析 emotion_pattern = r"<\|([A-Z]+)\|>" matches = re.finditer(emotion_pattern, raw_text) emotions = [] for match in matches: emotion_type = match.group(1) if emotion_type in ["HAPPY", "ANGRY", "SAD", "NEUTRAL"]: # 这里简化处理：假设每个标签代表一个时间点 timestamp = len(emotions) * 5 # 每5秒采样一次（实际应根据VAD分段） emotions.append({ "time": timestamp, "emotion": emotion_type }) # 生成情感波动图 if emotions: fig, ax = plt.subplots(figsize=(10, 4)) times = [e["time"] for e in emotions] emotion_map = {"HAPPY": 3, "NEUTRAL": 2, "SAD": 1, "ANGRY": 4} values = [emotion_map[e["emotion"]] for e in emotions] colors = {'HAPPY': 'green', 'ANGRY': 'red', 'SAD': 'blue', 'NEUTRAL': 'gray'} for t, v, e in zip(times, values, [e["emotion"] for e in emotions]): ax.scatter(t, v, color=colors[e], s=60, label=e if e not in ax.get_legend_handles_labels()[1] else "") ax.set_yticks([1, 2, 3, 4]) ax.set_yticklabels(['SAD', 'NEUTRAL', 'HAPPY', 'ANGRY']) ax.set_xlabel("时间 (秒)") ax.set_title("情感波动趋势") ax.legend(loc='upper right') ax.grid(True, alpha=0.3) # 将图像转为base64嵌入HTML buf = io.BytesIO() plt.savefig(buf, format='png', bbox_inches='tight') buf.seek(0) img_str = base64.b64encode(buf.read()).decode('utf-8') plt.close(fig) img_html = f'<img src="data:image/png;base64,{img_str}" style="max-width:100%;">' else: img_html = "<p>未检测到明显情感变化</p>" return clean_text, img_html

步骤三：构建增强版 Gradio 界面

with gr.Blocks(title="访谈语音情感分析平台") as demo: gr.Markdown("# 🎤 访谈语音情感波动分析系统") gr.Markdown(""" 本系统基于 **SenseVoiceSmall** 模型，支持上传访谈录音，自动完成： - 多语言语音转写 - 情感状态识别（开心/愤怒/悲伤/中立） - 声音事件标注（掌声/笑声/BGM等） - 情感变化趋势可视化 """) with gr.Row(): with gr.Column(scale=1): audio_input = gr.Audio(type="filepath", label="🎙️ 上传访谈音频") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="🗣️ 语言选择" ) submit_btn = gr.Button("🚀 开始分析", variant="primary") with gr.Column(scale=2): text_output = gr.Textbox(label="📝 富文本识别结果", lines=12) viz_output = gr.HTML(label="📊 情感波动图") submit_btn.click( fn=sensevoice_process_with_emotion_viz, inputs=[audio_input, lang_dropdown], outputs=[text_output, viz_output] )

步骤四：启动服务

python app_sensevoice_emotion.py

访问http://127.0.0.1:6006即可使用完整功能。

3.3 关键实践问题与优化建议

问题1：情感标签无精确时间戳

目前 SenseVoiceSmall 输出的情感标签是插入在文本流中的，缺乏精确的时间边界。上述方案采用“按出现顺序估算时间”的方式是一种近似处理。

优化方向：

• 结合 VAD（语音活动检测）模块获取每句话的起止时间
• 将情感标签绑定到最近的语音片段上，提升定位准确性

问题2：情感类别有限且不可定制

当前支持的情感类型固定（HAPPY、ANGRY、SAD 等），难以适应特定场景（如“焦虑”、“兴奋”）。

解决方案：

• 在后处理阶段增加映射规则，例如将连续多个“HAPPY”标签+“LAUGHTER”事件判定为“极度兴奋”
• 对输出序列进行二次分类，构建轻量级情感聚类模型

问题3：长音频内存占用高

超过30分钟的音频可能导致显存溢出。

应对策略：

• 启用batch_size_s=30参数限制每次处理时长
• 分段处理并合并结果，避免一次性加载整段音频

4. 应用效果与可视化示例

运行系统后，输入一段包含情绪变化的访谈录音，得到如下输出：

示例输出片段：

你好 <|HAPPY|>，今天来聊聊产品体验 <|NEUTRAL|>。 说实话，刚开始用的时候有点困惑 <|SAD|>…… 不过后来客服帮我解决了问题 <|HAPPY|>，现在我觉得还挺不错的 <|HAPPY|>！ 刚才那段操作真让人抓狂 <|ANGRY|>。

经rich_transcription_postprocess处理后显示为：

你好（开心），今天来聊聊产品体验（中立）。说实话，刚开始用的时候有点困惑（悲伤）……不过后来客服帮我解决了问题（开心），现在我觉得还挺不错的（开心）！刚才那段操作真让人抓狂（愤怒）。

同时，系统自动生成情感波动图，清晰展示受访者在不同阶段的情绪变化趋势，便于快速定位关键节点（如负面情绪爆发点）。

5. 总结

5.1 核心价值总结

SenseVoiceSmall 作为一款兼具高精度识别与情感感知能力的语音理解模型，在访谈分析、用户体验研究、心理评估等领域展现出巨大潜力。通过将其与 Gradio 快速封装为可视化工具，我们可以实现：

• 从“听见”到“读懂”：不只是获取文字，更能理解话语背后的情绪。
• 高效洞察挖掘：自动识别情绪拐点，辅助人工快速定位重点片段。
• 低成本落地：无需微调即可开箱使用，适合中小团队快速验证想法。

5.2 最佳实践建议

1. 优先用于短时高质量录音：推荐用于15–30分钟内的清晰访谈录音，避免嘈杂环境影响识别质量。
2. 结合人工校验机制：自动识别结果可作为初筛依据，关键结论仍需人工复核。
3. 扩展后处理规则库：根据业务场景定义专属情感判断逻辑，提升分析深度。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。