跨平台应用：在树莓派+USB声卡上运行轻量版SenseVoiceSmall

1. 引言

随着边缘计算和嵌入式AI的发展，将语音理解模型部署到低功耗设备（如树莓派）成为可能。本文聚焦于如何在树莓派 + USB声卡的硬件组合上成功运行阿里达摩院开源的轻量级多语言语音理解模型SenseVoiceSmall。

该模型不仅支持中、英、日、韩、粤语等多语种高精度识别，还具备情感识别（开心、愤怒、悲伤）与声音事件检测（BGM、掌声、笑声、哭声）能力，输出富文本结果。通过集成 Gradio WebUI，用户无需编写代码即可完成音频上传与推理展示。

尽管原始设计面向GPU加速环境（如NVIDIA 4090D），但借助优化配置与CPU推理适配，我们可以在资源受限的ARM架构设备上实现基本功能落地，为智能家居、离线语音助手等场景提供实用参考。

2. 技术背景与挑战分析

2.1 树莓派作为边缘语音终端的优势

树莓派因其低成本、低功耗、可扩展性强等特点，广泛应用于物联网语音采集终端。配合USB声卡后，可构建完整的音频输入系统，适合用于：

• 离线语音指令识别
• 情感化人机交互原型开发
• 多语言客服对话记录分析

然而，其性能瓶颈也十分明显：通常仅配备4GB或8GB内存、Broadcom BCM2711四核A72/A76处理器，缺乏专用NPU/GPU，难以直接运行大型Transformer类语音模型。

2.2 SenseVoiceSmall 的技术特性与适配难点

SenseVoiceSmall 基于非自回归架构，在保持较高准确率的同时显著降低推理延迟。其核心优势包括：

• 支持 rich transcription（富文本转录）
• 内置 VAD（语音活动检测）模块
• 多语言混合建模，无需切换模型
• 可识别情感标签与环境音事件

但在树莓派上的主要挑战如下：

因此，必须对原生部署流程进行裁剪与重构，以适应ARM平台。

3. 环境准备与依赖配置

3.1 硬件清单

• 树莓派 4B/5（推荐8GB RAM）
• USB外接声卡（支持16kHz采样）
• microSD卡（≥32GB，Class 10以上）
• 散热片或主动风扇（防止过热降频）

3.2 软件环境搭建

操作系统选择

建议使用Raspberry Pi OS (64-bit)，确保为aarch64架构，可通过以下命令确认：

uname -m # 输出应为 aarch64

Python 与核心库安装

由于官方PyTorch未发布ARM64预编译包，需使用社区维护版本：

# 添加清华源加速下载 echo "extra-index-url https://pypi.tuna.tsinghua.edu.cn/simple" > ~/.pip/pip.conf # 安装适用于 aarch64 的 PyTorch pip install https://github.com/yaoxuefeng6/PyTorch-CPU-aarch64/releases/download/v2.5.1/torch-2.5.1-cp311-none-linux_aarch64.whl pip install torchvision torchaudio --no-deps

注意：此处仅安装CPU版本，若需进一步提升性能，可考虑使用 ONNX Runtime 进行量化推理。

安装必要依赖库

sudo apt update sudo apt install -y ffmpeg libavcodec-dev libavformat-dev libswscale-dev pip install funasr modelscope gradio av numpy

验证av是否正常工作：

import av print(av.__version__) # 成功导入即表示FFmpeg绑定成功

4. 模型部署与Web服务启动

4.1 创建轻量化推理脚本

考虑到树莓派资源有限，需简化原始app_sensevoice.py中的功能，关闭批处理与缓存机制，启用CPU模式。

# app_sensevoice_rpi.py import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess # 初始化模型（使用 CPU 推理） model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, device="cpu", # 关键：强制使用 CPU vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, ) def sensevoice_process(audio_path, language): if audio_path is None: return "请上传音频文件" try: res = model.generate( input=audio_path, language=language, use_itn=True, batch_size_s=30, # 缩小批次时间 merge_vad=True, merge_length_s=10, # 减少合并长度 ) if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败" except Exception as e: return f"运行错误: {str(e)}" # 构建界面 with gr.Blocks(title="SenseVoice - 树莓派语音识别") as demo: gr.Markdown("# 🎙️ SenseVoice 小型语音识别系统") gr.Markdown("基于树莓派 + USB声卡的本地化部署方案") with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="录音或上传音频") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择" ) submit_btn = gr.Button("开始识别", variant="primary") with gr.Column(): text_output = gr.Textbox(label="识别结果（含情感/事件）", lines=12) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) # 启动服务（允许外部访问） demo.launch(server_name="0.0.0.0", server_port=6006, show_api=False)

4.2 启动服务

python app_sensevoice_rpi.py

首次运行时会自动从 ModelScope 下载模型（约1.1GB），建议提前下载并缓存至本地目录以避免网络中断。

提示：可在有线网络环境下预先拉取模型：

from modelscope.hub.snapshot_download import snapshot_download model_dir = snapshot_download('iic/SenseVoiceSmall')

5. 实际使用与性能调优

5.1 访问方式说明

由于树莓派通常处于局域网内，可通过SSH端口转发实现本地浏览器访问：

ssh -L 6006:localhost:6006 pi@<树莓派IP地址> -p 22

连接成功后，在本地电脑打开浏览器访问：

👉 http://127.0.0.1:6006

5.2 性能实测数据（树莓派4B 8GB）

⚠️结论：适合处理短语音片段（<30秒），长音频建议分段处理。

5.3 优化建议

1. 启用ONNX推理加速

   • 将模型导出为ONNX格式，结合onnxruntime提升CPU推理效率
   • 可减少约30%~40%延迟

2. 使用更小采样率音频

   • 模型支持自动重采样，优先上传16kHz单声道WAV文件，减轻解码负担

3. 关闭不必要的后台服务

   • 禁用桌面环境、蓝牙、Wi-Fi扫描等非必要进程，释放更多资源给Python进程

4. 设置交换分区

   • 增加2GB swap空间，防止OOM（内存溢出）导致崩溃

   sudo dphys-swapfile swapoff sudo sed -i 's/CONF_SWAPSIZE=100/CONF_SWAPSIZE=2048/' /etc/dphys-swapfile sudo dphys-swapfile swapon

6. 应用场景拓展

6.1 智能录音笔增强功能

将本系统集成进便携录音设备，可实现：

• 自动标注会议中的“掌声”、“笑声”节点，便于后期剪辑
• 分析演讲者情绪变化趋势（如由“愤怒”转为“平静”）
• 多语言访谈内容一键转录

6.2 家庭情感陪伴机器人原型

结合树莓派摄像头与麦克风阵列，构建初级情感感知机器人：

• 检测儿童哭声 → 触发安抚音乐播放
• 识别老人语气低落 → 发送提醒至子女手机
• 捕捉家庭互动中的笑声 → 自动生成温馨日记摘要

6.3 边缘隐私保护型语音分析

相比云端ASR，本地部署保障了敏感语音数据不出内网，适用于：

• 医疗问诊录音结构化
• 法律咨询对话归档
• 心理咨询过程辅助记录

7. 总结

本文详细介绍了如何将原本面向高性能GPU平台的SenseVoiceSmall多语言语音理解模型，成功迁移至资源受限的树莓派 + USB声卡组合平台上。虽然面临架构差异、算力不足、依赖复杂等问题，但通过以下关键措施实现了可用性突破：

1. ✅ 使用社区版PyTorch支持ARM64架构
2. ✅ 调整模型加载参数，强制使用CPU推理
3. ✅ 简化Gradio前端逻辑，降低资源消耗
4. ✅ 优化音频处理链路，提升整体响应效率

尽管当前推理速度仍无法达到实时水平，但对于离线、低频、短语音的应用场景已具备实用价值。未来可通过模型量化、ONNX加速、轻量VAD前置过滤等方式进一步提升性能。

该项目展示了大模型向边缘下沉的可能性，也为开发者提供了在低成本硬件上探索语音AI创新的实践路径。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。