语音数据预处理全攻略｜结合FRCRN镜像实现高质量降噪切片

在构建高质量语音识别、语音合成或声纹识别系统时，原始音频数据往往包含背景噪声、非目标说话人干扰以及不规则语句边界等问题。这些问题严重影响模型训练效果和推理性能。因此，一套完整的语音数据预处理流程至关重要。

本文将围绕FRCRN语音降噪-单麦-16k镜像展开，详细介绍从原始音频获取到最终标注数据生成的全流程实践方案。涵盖环境部署、批量降噪、VAD切片、说话人过滤与自动标注五大核心环节，帮助开发者高效构建纯净、结构化语音数据集。

1. 环境准备与镜像部署

1.1 部署FRCRN语音降噪镜像

本方案基于CSDN星图平台提供的FRCRN语音降噪-单麦-16k预置镜像，集成达摩院开源的speech_frcrn_ans_cirm_16k模型，专为16kHz单通道语音设计，具备出色的非平稳噪声抑制能力。

部署步骤如下：

在支持GPU的环境中选择并部署该镜像（推荐使用4090D及以上显卡）；
启动容器后进入Jupyter Lab界面；
激活对应conda环境：bash conda activate speech_frcrn_ans_cirm_16k
切换至工作目录：bash cd /root

此时可执行一键推理脚本进行测试：

python 1键推理.py

该脚本默认会对/root/test_audio目录下的音频进行降噪处理，输出至指定路径，验证环境是否正常运行。

1.2 创建本地项目结构

为便于管理，建议在本地或容器内建立清晰的文件组织结构：

import os base_dir = "./" directories = ["input_dir", "denoised_dir", "output_dir"] for directory in directories: dir_path = os.path.join(base_dir, directory) if not os.path.exists(dir_path): os.makedirs(dir_path) print(f"文件夹 '{dir_path}' 已创建。") else: print(f"文件夹 '{dir_path}' 已存在。")

最终目录结构如下：

./ ├── input_dir/ # 存放原始音频（.wav） ├── denoised_dir/ # 存放降噪后音频 └── output_dir/ # 存放VAD切片结果

将采集的原始音频统一放入input_dir中，准备进入下一阶段处理。

2. 基于FRCRN的高质量语音降噪

2.1 安装依赖与加载模型

FRCRN模型通过ModelScope平台提供便捷调用接口。首先安装必要库：

pip install -U modelscope pydub tqdm

随后使用ModelScope管道（pipeline）初始化降噪模块：

import os from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks # 初始化FRCRN降噪模型 ans_pipeline = pipeline( Tasks.acoustic_noise_suppression, model='damo/speech_frcrn_ans_cirm_16k' ) # 设置输入输出路径 input_folder = "./input_dir" output_folder = "./denoised_dir" if not os.path.exists(output_folder): os.makedirs(output_folder)

2.2 批量执行降噪处理

遍历input_folder中所有.wav文件，并调用模型完成去噪：

for audio_file in os.listdir(input_folder): if audio_file.endswith(".wav"): input_path = os.path.join(input_folder, audio_file) output_path = os.path.join(output_folder, audio_file) try: result = ans_pipeline(input_path, output_path=output_path) print(f"已处理: {audio_file}") except Exception as e: print(f"处理失败 {audio_file}: {e}")

技术优势说明：
FRCRN（Full-Resolution Complex Recurrent Network）采用复数域建模方式，在相位与幅度联合优化方面表现优异，尤其擅长去除枪声、键盘敲击、空调噪音等复杂背景音，保留人声细节更完整，适合用于高保真语音建模前的数据清洗。

3. 基于VAD的智能语音切片

3.1 使用FSMN-VAD检测语音活动段

降噪后的音频仍为长录音，需进一步分割成独立语句片段。我们采用达摩院的 FSMN-VAD 模型（speech_fsmn_vad_zh-cn-16k-common-pytorch），其对中文语音端点检测准确率高，抗噪能力强。

初始化VAD管道：

from pydub import AudioSegment inference_pipeline = pipeline( task=Tasks.voice_activity_detection, model='damo/speech_fsmn_vad_zh-cn-16k-common-pytorch' )

3.2 自动切分并导出短语音片段

利用VAD返回的时间区间（单位：毫秒），结合pydub实现精准裁剪：

audio_folder = "./denoised_dir" output_folder = "./output_dir" for audio_file in os.listdir(audio_folder): if audio_file.endswith(".wav"): audio_in = os.path.join(audio_folder, audio_file) result = inference_pipeline(audio_in=audio_in) audio = AudioSegment.from_file(audio_in) time_segments = result["text"] # 格式: [[start_ms, end_ms], ...] for i, (start_ms, end_ms) in enumerate(time_segments): segment = audio[start_ms:end_ms] segment.export( os.path.join(output_folder, f"{os.path.splitext(audio_file)[0]}_{i}.wav"), format="wav" ) print(f"已完成切片: {audio_file}")

此过程可将长达数十分钟的音频转化为数百个有效语句片段，极大提升后续标注效率。

4. 基于声纹验证的说话人过滤

4.1 构建目标说话人参考样本

尽管经过降噪与切片，部分片段可能混入旁白、弹幕朗读或其他角色语音。为此引入说话人验证（Speaker Verification）机制，剔除非目标人物语音。

首先手动挑选一段确认为目标说话人的清晰音频作为参考（anchor），例如：

reference_audio = "./output_dir/甜药教学_希尔.wav_3.wav"

4.2 多线程批量比对与删除

使用eres2net_base_250k_sv_zh-cn_16k-common模型进行嵌入向量比对，判断两段语音是否来自同一人：

import concurrent.futures from tqdm import tqdm sv_pipeline = pipeline( task='speaker-verification', model='damo/speech_eres2net_base_250k_sv_zh-cn_16k-common', model_revision='v1.0.0' ) audio_folder = "./output_dir" audio_files = [os.path.join(audio_folder, f) for f in os.listdir(audio_folder) if f.endswith(".wav")] def process_audio(audio_file): try: result = sv_pipeline([reference_audio, audio_file]) if result["text"] != "yes": # 不是同一说话人则删除 os.remove(audio_file) except Exception as e: print(f"处理异常 {audio_file}: {e}") # 多线程加速处理 max_workers = 16 # 根据CPU核心数调整 with concurrent.futures.ThreadPoolExecutor(max_workers=max_workers) as executor: futures = [executor.submit(process_audio, af) for af in audio_files] list(tqdm(concurrent.futures.as_completed(futures), total=len(futures), desc="说话人过滤"))

工程提示：当前版本主要依赖CPU计算，未来若支持GPU加速，将进一步提升大规模数据处理效率。

5. 自动生成带文本标注的数据集

5.1 调用Paraformer实现自动语音识别（ASR）

完成语音清洗后，最后一步是生成“音频路径｜说话人｜语言｜文本”格式的标注文件，供TTS或ASR任务使用。

使用达摩院中文Paraformer大模型进行高精度转录：

asr_pipeline = pipeline( task=Tasks.auto_speech_recognition, model='damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch' )

5.2 统一整理并生成标准标注文件

以下函数实现递归扫描、重命名、ASR识别与列表生成一体化流程：

import shutil def get_asr_pipeline(lang_code): if lang_code == "ZH": return pipeline( task=Tasks.auto_speech_recognition, model='damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch') elif lang_code == "EN": return pipeline( task=Tasks.auto_speech_recognition, model='damo/speech_paraformer_asr-en-16k-vocab4199-pytorch') else: raise ValueError("暂不支持该语言") def process_directory(source_dir, character_name, lang_code, start_number, parent_dir_template, output_file): if not os.path.exists(source_dir): print(f"跳过不存在的文件夹: {source_dir}") return start_number parent_dir = parent_dir_template.format(character_name=character_name) if not os.path.exists(parent_dir): os.makedirs(parent_dir) asr_pipeline = get_asr_pipeline(lang_code) file_number = start_number for root, _, files in os.walk(source_dir): for file in files: if file.endswith(".wav"): wav_path = os.path.join(root, file) new_name = f"{character_name}_{file_number}" new_wav_path = os.path.join(parent_dir, new_name + ".wav") new_lab_path = os.path.join(parent_dir, new_name + ".lab") # 复制音频 shutil.copy2(wav_path, new_wav_path) # ASR识别文本 try: rec_result = asr_pipeline(audio_in=new_wav_path) text = rec_result.get("text", "").strip() except Exception as e: print(f"ASR失败 {new_name}: {e}") text = "" # 写入标注文件 with open(output_file, 'a', encoding='utf-8') as f: f.write(f"{new_wav_path}|{character_name}|{lang_code}|{text}\n") file_number += 1 print(f"已标注: {new_name} -> {text}") return file_number # 配置参数 character_name = "甜药" source_dir = "./output_dir" parent_dir_template = "./wavs/{character_name}" output_file = "filelist.list" # 清空原标注文件 if os.path.exists(output_file): os.remove(output_file) # 执行处理 process_directory(source_dir, character_name, "ZH", 0, parent_dir_template, output_file) print("✅ 全部处理完毕，标注文件已生成！")

生成的filelist.list可直接用于 Bert-VITS2、So-VITS-SVC 等主流语音模型训练。