SenseVoiceSmall情感标签乱码？rich_transcription后处理详解
1. 问题背景：你看到的不是乱码，是富信息
你有没有遇到这种情况——用SenseVoiceSmall识别完一段音频，结果里突然冒出一堆像<|HAPPY|>、<|BGM|>这样的奇怪符号？第一反应是不是以为模型出错了，或者编码有问题？
别急，这根本不是乱码。
这些带尖括号的标记，其实是SenseVoice模型输出的富文本标签（Rich Transcription Tags），它们承载了比普通文字转录多得多的信息：说话人的情绪、背景音乐、笑声掌声，甚至语气停顿。这才是SenseVoice真正厉害的地方——它不只是“听清你说什么”，还能“听懂你为什么这么说”。
但问题来了：这些原始标签对开发者不友好，直接展示给用户更是一头雾水。怎么把<|ANGRY|>今天这服务太差了！<|APPLAUSE|>变成可读性强的“【愤怒】今天这服务太差了！【掌声】”？
答案就是：rich_transcription_postprocess后处理函数。
本文将带你彻底搞懂这套机制，从原理到实战，让你轻松驾驭SenseVoice的富文本输出。
2. 核心机制解析：富文本标签到底是什么
2.1 富文本识别（Rich Transcription）是什么
传统的语音识别（ASR）只做一件事：把声音变成文字。而SenseVoiceSmall属于新一代的富文本语音理解模型，它的输出不仅包含文字，还包括：
- 情感标签：HAPPY（开心）、SAD（悲伤）、ANGRY（愤怒）、NEUTRAL（中性）
- 声音事件：BGM（背景音乐）、LAUGHTER（笑声）、APPLAUSE（掌声）、CRY（哭声）、NOISE（噪音）
- 语速与停顿：通过特殊标记体现语流节奏
这些信息以结构化标签的形式嵌入在文本中，比如：
<|HAPPY|>今天天气真好啊<|LAUGHTER|>哈哈哈<|BGM|>🎵轻快的背景音乐🎵这种设计极大提升了语音内容的理解深度，特别适合用于客服质检、视频字幕生成、情感分析等场景。
2.2 为什么看起来像“乱码”
因为这些标签使用了特殊的分隔符<|XXX|>，这是现代大模型常用的特殊token标记方式。它的好处是：
- 在训练时能被模型准确识别为独立语义单元
- 推理时不会和正常文本混淆
- 易于后续程序化提取和处理
但它的问题也很明显：对人类阅读极不友好。所以我们需要一个“翻译器”，把这些机器可读的标签转换成人类可读的格式。
这就是rich_transcription_postprocess的使命。
3. 后处理实战：如何正确使用 rich_transcription_postprocess
3.1 函数来源与调用方式
rich_transcription_postprocess是 FunASR 库内置的一个工具函数，专门用于清洗 SenseVoice 的原始输出。
你需要先安装依赖：
pip install funasr modelscope av gradio然后在代码中导入：
from funasr.utils.postprocess_utils import rich_transcription_postprocess3.2 基础用法示例
假设模型原始输出如下：
raw_text = "<|HAPPY|>这个产品我很喜欢<|LAUGHTER|>哈哈<|BGM|>🎵舒缓的音乐🎵"我们进行后处理：
clean_text = rich_transcription_postprocess(raw_text) print(clean_text)输出结果会是：
【开心】这个产品我很喜欢【笑声】哈哈【背景音乐】🎵舒缓的音乐🎵看到了吗？自动完成了三件事：
- 将
<|HAPPY|>转为【开心】 - 将
<|LAUGHTER|>转为【笑声】 - 保留并美化 BGM 描述
3.3 支持的标签类型全解析
目前rich_transcription_postprocess支持的主要标签包括：
| 原始标签 | 中文映射 | 使用场景 |
|---|---|---|
| `< | HAPPY | >` |
| `< | SAD | >` |
| `< | ANGRY | >` |
| `< | NEUTRAL | >` |
| `< | BGM | >` |
| `< | APPLAUSE | >` |
| `< | LAUGHTER | >` |
| `< | CRY | >` |
| `< | NOISE | >` |
所有标签都会被统一转换为中文方括号格式，极大提升可读性。
3.4 自定义后处理逻辑（进阶）
如果你不满意默认的中文标签，或者想导出结构化数据（如JSON），可以手动解析原始文本。
方法一：正则提取 + 自定义替换
import re def custom_postprocess(text): # 定义替换规则 replacements = { "<|HAPPY|>": "[Happy]", "<|SAD|>": "[Sad]", "<|ANGRY|>": "[Angry]", "<|BGM|>": "[BGM]", "<|APPLAUSE|>": "[Applause]", "<|LAUGHTER|>": "[Laughter]" } for old, new in replacements.items(): text = text.replace(old, new) return text # 示例 raw = "<|HAPPY|>太棒了<|LAUGHTER|>" result = custom_postprocess(raw) print(result) # 输出: [Happy]太棒了[Laughter]方法二：提取结构化事件流
def extract_events(text): events = [] pattern = r"<\|([A-Z]+)\|>" matches = re.finditer(pattern, text) for match in matches: event_type = match.group(1) position = match.start() events.append({ "type": event_type, "position": position, "label": match.group(0) }) return events # 示例 events = extract_events("<|HAPPY|>不错<|APPLAUSE|>") for e in events: print(e) # 输出: # {'type': 'HAPPY', 'position': 0, 'label': '<|HAPPY|>'} # {'type': 'APPLAUSE', 'position': 7, 'label': '<|APPLAUSE|>'}这种方式适合做数据分析、时间轴标注、可视化展示等高级应用。
4. WebUI 集成实践：打造可视化语音分析平台
前面提到的 Gradio 界面脚本已经集成了后处理功能，我们再来重点看关键部分：
from funasr.utils.postprocess_utils import rich_transcription_postprocess def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" res = model.generate( input=audio_path, language=language, use_itn=True, batch_size_s=60, merge_vad=True ) if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败"这里的关键步骤是：
model.generate()获取原始带标签文本rich_transcription_postprocess()进行清洗- 返回干净结果给前端显示
这样用户在界面上看到的就是清晰易懂的内容，而不是一堆“乱码”。
4.1 如何部署并访问
如果你使用的是预置镜像环境，只需两步：
第一步：运行服务脚本
python app_sensevoice.py该脚本会启动 Gradio 服务，默认监听6006端口。
第二步：本地隧道转发
由于云服务器通常不直接开放端口，需通过 SSH 隧道：
ssh -L 6006:127.0.0.1:6006 -p [你的SSH端口] root@[你的IP地址]连接成功后，在本地浏览器打开：
http://127.0.0.1:6006
即可进入交互式语音识别界面。
4.2 实际效果演示
上传一段带有笑声和背景音乐的中文对话音频，识别结果可能如下：
【中性】你好，请问有什么可以帮助您？ 【开心】最近买了你们的新手机，体验非常好。 【笑声】哈哈哈，特别是拍照功能，简直惊艳。 【背景音乐】🎵柔和的钢琴曲🎵 【愤怒】但是上一次客服态度真的很差！一眼就能看出情绪起伏和环境变化，远超传统字幕的价值。
5. 常见问题与最佳实践
5.1 为什么有时情感标签没出现
可能原因包括：
- 音频太短或情绪不明显，模型未检测到足够特征
- 语言设置错误，导致情感分支未激活
- 音质较差，影响情绪特征提取
建议：确保音频清晰、时长适中（>3秒），并正确选择语言参数。
5.2 是否必须使用 rich_transcription_postprocess
不是必须，但强烈推荐。
如果你要做以下事情，可以直接处理原始标签：
- 构建自动化分析流水线
- 提取情绪时间序列
- 训练下游分类模型
但如果是面向用户的展示场景，一定要做后处理，否则用户体验极差。
5.3 性能与资源消耗
- GPU加速：推荐使用NVIDIA GPU（如RTX 4090），推理速度可达实时倍数以上
- 内存占用：模型约占用3~4GB显存
- 延迟表现：在高端GPU上，30秒音频可在2秒内完成识别+后处理
5.4 多语言支持注意事项
虽然支持中英日韩粤五种语言，但在调用时建议明确指定语言参数：
language="zh" # 中文 language="en" # 英文 language="ja" # 日语 language="ko" # 韩语 language="yue" # 粤语 language="auto" # 自动识别（有一定误差）自动识别虽方便，但在混合语言场景下可能出现偏差，关键业务建议手动指定。
6. 总结：从“听清”到“听懂”的跨越
SenseVoiceSmall 不只是一个语音识别模型，它是通往语音智能理解的一扇门。那些看似“乱码”的标签，其实是通往深层语义的钥匙。
通过本文你已经掌握：
- 理解
<|XXX|>标签的真实含义 - 正确使用
rich_transcription_postprocess清洗输出 - 手动解析标签实现定制化处理
- 部署 WebUI 实现可视化交互
- 解决常见使用问题
现在你可以自信地说：那不是乱码，那是情绪、是氛围、是声音里的故事。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
