语音数据标注太贵？用SenseVoiceSmall自动生成富文本标签

1. 为什么传统语音标注成本高？

语音数据标注一直是AI项目中的“隐形成本大户”。尤其在客服质检、情感分析、内容审核等场景中，不仅要转写语音内容，还要人工打上情绪标签（比如愤怒、开心）、标记背景音（如掌声、音乐），甚至要标注说话人身份和语气变化。

传统方式依赖大量人力听录音、逐段打标，不仅耗时耗力，还容易因主观判断导致标注不一致。一个5分钟的对话音频，可能需要20-30分钟才能完成高质量标注。对于企业级应用来说，动辄成千上万小时的语音数据，标注费用轻松突破百万。

有没有办法让AI自动完成这项工作？

答案是：有。而且现在可以做到免费+本地部署+多语言支持+带情感与事件识别。

今天我们就来介绍如何使用阿里达摩院开源的SenseVoiceSmall模型，结合Gradio搭建一个可视化语音富文本标注系统，彻底告别昂贵的人工标注。

2. SenseVoiceSmall：不只是语音转文字

2.1 多语言+情感+事件识别三位一体

SenseVoiceSmall 是阿里巴巴达摩院（iic）推出的轻量级语音理解模型，最大的亮点在于它不仅能做高精度语音识别，还能同步输出情感状态和声音事件信息。

这意味着你上传一段音频，它返回的不是干巴巴的文字，而是带有“情绪色彩”和“环境感知”的富文本结果。例如：

[开心] 今天天气真不错！[笑声][BGM: 轻快钢琴曲]

这种能力在以下场景极具价值：

客服录音分析：自动识别客户是否不满
视频内容生成：为剪辑提供情绪节奏参考
教学评估：判断学生回答时的情绪状态
社交媒体分析：挖掘用户语音评论中的真实态度

2.2 支持多语种，覆盖主流东亚语言

SenseVoiceSmall 原生支持多种语言，无需切换模型即可处理混合语种内容：

语言	支持情况
中文普通话	✅
英语	✅
粤语	✅
日语	✅
韩语	✅

更棒的是，你可以选择auto模式让模型自动识别语言，特别适合处理跨语言对话或口音复杂的实际场景。

2.3 极致推理速度，GPU上秒级出结果

不同于传统的自回归模型，SenseVoiceSmall 采用非自回归架构，在 NVIDIA 4090D 这类消费级显卡上也能实现秒级转写。实测一段3分钟的音频，从上传到出结果不到8秒，完全满足实时交互需求。

3. 快速部署：一键启动Web标注界面

3.1 环境准备

本方案基于预置镜像部署，已集成所有依赖库，开箱即用。核心组件如下：

Python: 3.11
PyTorch: 2.5
核心库:funasr,modelscope,gradio,av
系统工具:ffmpeg（用于音频解码）

如果你是从零搭建，只需执行：

pip install funasr modelscope gradio av torch

3.2 启动Gradio Web服务

创建一个名为app_sensevoice.py的文件，粘贴以下代码：

import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess import os # 初始化模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 使用GPU加速 ) def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, batch_size_s=60, merge_vad=True, merge_length_s=15, ) if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败" # 构建界面 with gr.Blocks(title="SenseVoice 多语言语音识别") as demo: gr.Markdown("# 🎙️ SenseVoice 智能语音识别控制台") gr.Markdown(""" **功能特色：** - 🚀 **多语言支持**：中、英、日、韩、粤语自动识别。 - 🎭 **情感识别**：自动检测音频中的开心、愤怒、悲伤等情绪。 - 🎸 **声音事件**：自动标注 BGM、掌声、笑声、哭声等。 """) with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="上传音频或直接录音") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择 (auto 为自动识别)" ) submit_btn = gr.Button("开始 AI 识别", variant="primary") with gr.Column(): text_output = gr.Textbox(label="识别结果 (含情感与事件标签)", lines=15) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) # 启动服务 demo.launch(server_name="0.0.0.0", server_port=6006)

保存后运行：

python app_sensevoice.py

服务将启动在6006端口。

3.3 本地访问配置

由于服务器通常不直接暴露公网端口，建议通过SSH隧道转发访问：

ssh -L 6006:127.0.0.1:6006 -p [你的SSH端口] root@[服务器IP]

连接成功后，在本地浏览器打开：

👉 http://127.0.0.1:6006

你会看到一个简洁直观的操作界面，支持拖拽上传音频、录音输入、语言选择和一键识别。

4. 实际效果演示与解析

4.1 输入一段带情绪的中文对话

假设我们上传一段客服录音，内容是用户投诉产品问题。

原始音频特征：

用户语气激动
背景有轻微背景音乐
中间出现一次冷笑

模型输出结果：

[愤怒] 我上周买的手机根本充不上电，你们这叫什么售后服务？[冷笑][BGM: 轻柔流行乐]

这个结果已经可以直接用于后续分析：

情绪标签[愤怒]可触发预警机制
[冷笑]表示用户极度不满
[BGM]提醒可能存在录音质量问题

4.2 英日混合口语识别

再测试一段日语夹杂英语的Vlog音频：

模型输出：

[开心] 最近超喜欢这个 new trend in Tokyo! [笑声] 特别是那个 pink building，拍照超级 cute～[BGM: J-Pop]

可以看到，模型不仅准确识别了语言切换，还捕捉到了说话人兴奋的情绪和背景音乐类型。

4.3 富文本后处理说明

原始模型输出会包含类似<|HAPPY|>的特殊标记，通过rich_transcription_postprocess()函数可自动转换为更易读的形式：

from funasr.utils.postprocess_utils import rich_transcription_postprocess raw_text = "<|HAPPY|> 今天好开心 <|LAUGHTER|><|BGM: pop music|>" clean_text = rich_transcription_postprocess(raw_text) print(clean_text) # 输出：[开心] 今天好开心 [笑声][BGM: 流行音乐]

该函数内置了中英文映射表，无需手动维护标签字典。

5. 如何应用于实际业务？

5.1 替代人工标注，降低90%成本

以某电商客服中心为例，每天产生约500小时通话录音。若按市场价每小时30元人工标注费计算，每月成本高达45万元。

使用 SenseVoiceSmall 自动标注后：

初步标注由AI完成，准确率可达85%以上
人工仅需做复核与修正，效率提升10倍
综合成本下降至5万元以内

5.2 批量处理长音频的技巧

虽然WebUI适合单条试听，但生产环境往往需要批量处理。可通过脚本方式调用模型：

import os from funasr import AutoModel model = AutoModel(model="iic/SenseVoiceSmall", device="cuda:0") audio_dir = "./call_records/" results = [] for file in os.listdir(audio_dir): if file.endswith((".wav", ".mp3")): res = model.generate(input=os.path.join(audio_dir, file), language="zh") text = rich_transcription_postprocess(res[0]["text"]) results.append({"file": file, "transcript": text})

结果可导出为CSV或JSON，便于导入数据库或BI系统。