基于FunASR的高精度中文识别｜speech_ngram_lm

基于FunASR的高精度中文识别｜speech_ngram_lm_zh-cn应用详解

1. 背景与技术选型

1.1 中文语音识别的技术挑战

在实际语音识别场景中，中文识别面临诸多挑战：

语言复杂性：中文词汇无空格分隔，语义边界模糊
同音词干扰：如“公式”与“公事”发音相同但语义不同
上下文依赖强：准确理解需依赖长距离语境信息

传统声学模型（AM）仅能处理局部声学特征，难以解决上述问题。为此，引入语言模型（LM）成为提升识别准确率的关键路径。

1.2 FunASR框架的核心优势

FunASR 是由 ModelScope 推出的开源语音识别工具包，具备以下特性：

支持端到端 ASR、VAD、标点恢复等全流程功能
提供 ONNX 格式模型，便于部署和推理加速
模块化设计，支持热词、语言模型插件式集成

其中，speech_ngram_lm_zh-cn-ai-wesp-fst是专为中文优化的 N-gram 语言模型，基于大规模文本语料训练，能够有效提升解码阶段的语义合理性。

1.3 本文目标与价值

本文聚焦于speech_ngram_lm_zh-cn模型的实际应用，结合科哥二次开发的 WebUI 镜像，系统讲解：

如何通过语言模型显著提升识别准确率
参数配置的最佳实践
工程部署中的常见问题与解决方案

适合希望快速落地高精度中文语音识别系统的开发者参考。

2. 系统架构与核心组件解析

2.1 整体架构概览

该系统采用客户端-服务端分离架构：

[WebUI Client] ←→ [FunASR WebSocket Server] ←→ [ONNX Runtime] ↑ ↑ ↑ 浏览器交互 Paraformer + LM GPU/CPU 推理

关键组件包括：

Paraformer-Large：主声学模型，负责音频到文本的初步转换
speech_ngram_lm_zh-cn：N-gram 语言模型，用于重打分（rescoring）
VAD 模块：自动检测语音段落起止
PUNC 模块：后处理添加标点符号

2.2 speech_ngram_lm_zh-cn 模型原理

N-gram 语言模型工作机制

N-gram 模型基于统计方法预测下一个词出现的概率：

$$ P(w_i | w_{i-n+1}^{i-1}) $$

例如，在三元组（trigram）模型中，“今天天气很好”的概率可分解为：

$$ P(好|天,气) × P(气|今,天) × P(天|今) × P(今) $$

speech_ngram_lm_zh-cn-ai-wesp-fst使用有限状态转录机（FST）实现高效推理，相比神经网络语言模型（NN-LM），其优势在于：

推理速度快，延迟低
内存占用小，适合边缘部署
对规则性强的任务（如数字、专有名词）表现优异

与声学模型的融合方式

FunASR 采用两阶段解码策略：

第一阶段：使用声学模型生成候选序列（lattice）
第二阶段：结合 N-gram LM 进行重打分，选择最优路径

命令行参数--lm-dir damo/speech_ngram_lm_zh-cn-ai-wesp-fst即启用此流程。

2.3 关键模块协同逻辑

各模块数据流如下：

原始音频 → VAD → 分段音频 → ASR (Paraformer) → 初步文本 ↓ N-gram LM 重打分 → 最终文本 → PUNC 添加标点

提示：语言模型不直接参与实时解码，而是在解码完成后对候选结果进行排序优化，因此不会显著增加延迟。

3. 实践部署与参数调优

3.1 Docker 镜像部署流程

拉取并运行镜像

# 拉取镜像 sudo docker pull registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.4.6 # 创建模型挂载目录 mkdir -p ./funasr-runtime-resources/models # 启动容器 sudo docker run -p 10095:10095 -it --privileged=true \ -v $PWD/funasr-runtime-resources/models:/workspace/models \ registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.4.6

启动服务端程序

进入容器后执行：

cd /workspace/FunASR/runtime nohup bash run_server.sh \ --download-model-dir /workspace/models \ --model-dir damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-onnx \ --vad-dir damo/speech_fsmn_vad_zh-cn-16k-common-onnx \ --punc-dir damo/punc_ct-transformer_cn-en-common-vocab471067-large-onnx \ --lm-dir damo/speech_ngram_lm_zh-cn-ai-wesp-fst \ --hotword /workspace/models/hotwords.txt > log.txt 2>&1 &

注意：若无需 SSL 加密，添加--certfile 0参数关闭证书验证。

3.2 WebUI 使用指南

访问地址

启动成功后访问：

http://localhost:7860

或远程访问：

http://<服务器IP>:7860

模型选择建议

模型名称	特点	适用场景
Paraformer-Large	高精度，支持标点恢复	录音转写、会议纪要
SenseVoice-Small	快速响应，资源消耗低	实时对话、语音指令

推荐优先使用Paraformer-Large + N-gram LM组合以获得最佳识别效果。

3.3 语言模型调优技巧

热词配置提升专业术语识别

编辑/workspace/models/hotwords.txt文件，格式为：

人工智能 20 深度学习 15 Transformer 25

每行一个热词，权重范围 1~100。建议：

关键术语设置较高权重（≥20）
总数量控制在 1000 以内
单个热词长度不超过 10 字

批量大小（batch_size）设置

参数--batch_size控制每次处理的音频时长（秒）：

默认值：300 秒（5 分钟）
推荐范围：60 ~ 600 秒

对于长音频，适当减小 batch_size 可避免内存溢出；短音频则可合并处理提高吞吐量。

设备选择与性能平衡

设备模式	优点	缺点
CUDA (GPU)	推理速度快，延迟低	需要显卡支持
CPU	兼容性好，无需专用硬件	处理速度较慢

有 GPU 时务必选择 CUDA 模式，可通过nvidia-smi确认驱动正常加载。

4. 应用案例与效果对比

4.1 测试环境说明

硬件：NVIDIA T4 GPU / Intel Xeon 8核CPU
软件：Ubuntu 20.04 + Docker + FunASR SDK 0.4.6
测试音频：16kHz 采样率，WAV 格式，包含日常对话与技术术语

4.2 开启 LM 前后的识别效果对比

示例一：含专业术语句子

原始音频内容：
“我们正在研究基于Transformer的大模型架构。”

配置	识别结果
仅 Paraformer	我们正在研究基于传输函数的大模型结构
+ N-gram LM	我们正在研究基于Transformer的大模型架构

✅ 明显改善了“Transformer”拼写错误及“架构”误识为“结构”的问题。

示例二：数字表达识别

原始音频内容：
“项目预算为三百万人民币。”

配置	识别结果
仅 Paraformer	项目预算为300万人民币
+ N-gram LM	项目预算为三百万人民币

✅ 保持输出一致性，避免混用汉字与阿拉伯数字。

4.3 输出格式与应用场景匹配

识别完成后支持导出多种格式：

格式	用途
`.txt`	文档整理、内容提取
`.json`	程序解析、时间戳分析
`.srt`	视频字幕制作、在线课程

文件保存路径为：

outputs/outputs_YYYYMMDDHHMMSS/ ├── audio_001.wav ├── result_001.json ├── text_001.txt └── subtitle_001.srt

5. 常见问题与优化建议

5.1 识别不准的排查清单

当识别结果不理想时，请按以下顺序检查：

✅ 是否选择了正确的语言模式（zh或auto）
✅ 音频质量是否清晰（推荐信噪比 > 20dB）
✅ 是否启用了 N-gram LM（--lm-dir参数）
✅ 是否添加了相关热词（如行业术语）
✅ 是否开启 VAD 和 PUNC 功能

5.2 性能瓶颈分析与对策

问题现象	可能原因	解决方案
识别速度慢	使用 CPU 模式	切换至 CUDA 模式
长音频失败	batch_size 过大	调整为 300 秒以内
内存不足	并发数过高	减少`decoder-thread-num`
麦克风无输入	浏览器权限未开	检查浏览器麦克风授权

5.3 SpringBoot 集成示例（WebSocket）

Maven 依赖

<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-websocket</artifactId> </dependency> <dependency> <groupId>org.json</groupId> <artifactId>json</artifactId> <version>20240303</version> </dependency> </dependencies>

WebSocket 客户端调用

@Service public class AsrClientService { @Value("${funasr.server.url}") private String serverUrl; public void sendAudio(String filePath) throws Exception { WebSocketClient client = new StandardWebSocketClient(); client.doHandshake(new WebSocketHandler() { @Override public void afterConnectionEstablished(WebSocketSession session) throws Exception { // 发送配置 JSONObject config = new JSONObject(); config.put("mode", "offline"); config.put("wav_name", "test_audio"); config.put("is_speaking", true); config.put("itn", true); // 启用ITN数字规范化 session.sendMessage(new TextMessage(config.toString())); // 发送音频数据 byte[] data = Files.readAllBytes(Paths.get(filePath)); session.sendMessage(new BinaryMessage(ByteBuffer.wrap(data))); // 结束标记 JSONObject end = new JSONObject(); end.put("is_speaking", false); session.sendMessage(new TextMessage(end.toString())); } @Override public void handleMessage(WebSocketSession session, WebSocketMessage<?> message) { if (message instanceof TextMessage) { System.out.println("Result: " + ((TextMessage) message).getPayload()); } } }, null, URI.create(serverUrl)); } }