说话人聚类第一步：用CAM++提取高质量语音特征

1. 引言：为什么说话人聚类需要高质量的语音特征？

在语音处理领域，说话人聚类（Speaker Diarization）是一个关键任务——它回答的是“谁在什么时候说了什么”。这项技术广泛应用于会议记录、电话客服分析、视频字幕生成等场景。而实现这一目标的第一步，就是从语音中提取出能够代表说话人身份的特征向量。

但问题来了：什么样的特征才算“高质量”？
简单来说，好的语音特征应该具备以下几点：

区分性强：不同人的声音特征差异明显
稳定性高：同一个人在不同时间、语调下的特征保持一致
抗噪能力强：对背景噪声、录音设备差异不敏感
维度适中：既能保留足够信息，又便于后续计算

今天我们要介绍的工具——CAM++，正是为此而生。它不仅能高效提取192维的说话人嵌入向量（Embedding），还能保证特征的质量和一致性，为后续的聚类打下坚实基础。

本文将带你一步步使用 CAM++ 系统完成语音特征提取，并说明这些特征如何服务于说话人聚类任务。

2. CAM++ 是什么？一个专为中文设计的说话人识别系统

2.1 核心能力概览

CAM++ 是一个基于深度学习的说话人验证与特征提取系统，由开发者“科哥”基于 ModelScope 上的开源模型speech_campplus_sv_zh-cn_16k构建并封装成易用的 WebUI 工具。

它的主要功能包括：

✅ 判断两段语音是否来自同一说话人（说话人验证）
✅ 提取每段语音的192 维说话人特征向量（Embedding）
✅ 支持单个或批量音频文件处理
✅ 输出标准 NumPy 格式.npy文件，便于集成到其他系统

该模型训练于约 20 万条中文语音数据，在 CN-Celeb 测试集上的 EER（等错误率）低至4.32%，说明其在中文环境下具有很强的判别能力。

技术亮点：CAM++ 使用了 Context-Aware Masking++ 结构，相比传统 ResNet 或 ECAPA-TDNN 模型，在保持高精度的同时显著提升了推理速度，适合实时或大规模离线处理。

2.2 系统运行环境与访问方式

镜像已预装所有依赖项，启动后可通过浏览器访问：

http://localhost:7860

界面简洁直观，包含两大核心功能模块：

说话人验证
特征提取

我们重点关注“特征提取”功能，因为这是构建说话人聚类 pipeline 的第一步。

3. 实战操作：如何用 CAM++ 提取语音特征？

3.1 启动系统

进入容器后执行以下命令即可启动服务：

cd /root/speech_campplus_sv_zh-cn_16k bash scripts/start_app.sh

等待提示出现Running on local URL: http://localhost:7860后，打开浏览器访问该地址即可看到主界面。

3.2 单文件特征提取流程

步骤一：切换到「特征提取」页面

点击顶部导航栏中的【特征提取】标签，进入功能区。

步骤二：上传音频文件

点击“选择文件”按钮，上传一段16kHz 采样率的 WAV 音频（推荐格式）。支持任意长度，但建议控制在 3–10 秒之间以获得最佳效果。

⚠️ 注意：虽然系统理论上支持 MP3、M4A 等格式，但为了确保一致性，建议统一转为 16kHz WAV 再输入。

步骤三：点击「提取特征」

系统会自动进行前端处理（如 Fbank 特征提取）、通过神经网络编码生成 192 维 Embedding，并展示结果。

结果显示内容包括：

文件名
Embedding 维度：(192,)
数据类型：float32
数值统计：均值、标准差、最大最小值
前 10 维数值预览

步骤四：保存特征向量（可选）

勾选“保存 Embedding 到 outputs 目录”，系统会将向量以.npy格式保存到输出目录中，文件名为embedding.npy。

3.3 批量提取：为聚类准备大量特征

如果你有一批录音需要处理（例如一段多人对话被切分成多个片段），可以使用「批量提取」功能。

操作步骤：

点击【批量提取】区域
一次性选择多个音频文件（支持拖拽）
点击「批量提取」按钮

系统会依次处理每个文件，并列出处理状态：

成功：显示(192,)
失败：显示错误原因（如格式不支持、解码失败等）

所有成功提取的 Embedding 将以原始文件名为前缀保存为独立的.npy文件，例如：

outputs/ └── outputs_20250405123015/ └── embeddings/ ├── segment_001.npy ├── segment_002.npy └── segment_003.npy

这种结构非常适合后续做聚类分析时按文件加载。

4. 特征向量详解：Embedding 到底是什么？

4.1 什么是 Embedding？

你可以把 Embedding 理解为一段语音的“声纹身份证”。

它是通过深度神经网络将原始波形压缩成的一个固定长度向量（这里是 192 维），其中包含了足以区分说话人身份的关键信息。

比如两个人说同一句话：“你好，我是张三。”

虽然语义相同，但他们的音色、共振峰、发音习惯不同
CAM++ 会把这些差异编码进各自的 Embedding 中
计算这两个向量的相似度，就能判断是不是同一个人

4.2 如何查看和使用 Embedding？

加载 .npy 文件示例（Python）

import numpy as np # 加载单个特征向量 emb = np.load('outputs/embeddings/segment_001.npy') print(emb.shape) # 输出: (192,) print(emb[:5]) # 查看前5维: [0.12, -0.34, 0.56, ...]

计算两个 Embedding 的相似度（余弦相似度）

def cosine_similarity(a, b): return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) sim = cosine_similarity(emb1, emb2) print(f"相似度: {sim:.4f}")

相似度 > 0.7：极大概率是同一人
0.4 ~ 0.7：可能存在相似性，需结合上下文判断
< 0.4：基本不是同一人

5. 为说话人聚类做准备：特征提取的最佳实践

现在你已经掌握了如何用 CAM++ 提取 Embedding，接下来要考虑的是：如何让这些特征更好地服务于聚类任务？

以下是几个实用建议：

5.1 音频预处理建议

项目	推荐做法
采样率	统一转为 16kHz，避免因设备差异影响特征一致性
音频格式	使用无损 WAV 格式，减少解码误差
静音切除	提前去除首尾静音段，避免无效帧干扰特征平均值
分段策略	若原始音频较长，建议每 3–5 秒切一段，分别提取特征

💡 小技巧：对于长对话，可以用 VAD（Voice Activity Detection）工具自动分割有声片段，再逐段送入 CAM++。

5.2 特征后处理建议

直接使用原始 Embedding 可行，但进一步优化能提升聚类效果：

（1）归一化处理

对每个 Embedding 向量做 L2 归一化，使它们落在单位球面上，便于后续用余弦距离衡量相似性。

emb_normalized = emb / np.linalg.norm(emb)

（2）特征平均（适用于多片段合并）

如果同一个说话人有多段语音，可以将其多个 Embedding 取平均，得到更稳定的中心向量：

center = np.mean([emb1, emb2, emb3], axis=0) center = center / np.linalg.norm(center) # 再次归一化

（3）降维可视化（调试用）

使用 t-SNE 或 UMAP 将 192 维特征降到 2D，观察不同说话人的分布是否可分：

from sklearn.manifold import TSNE import matplotlib.pyplot as plt embeddings = np.array([emb1, emb2, emb3, ...]) # 多个向量堆叠 X_2d = TSNE(n_components=2).fit_transform(embeddings) plt.scatter(X_2d[:,0], X_2d[:,1]) plt.title("t-SNE Visualization of Speaker Embeddings") plt.show()

良好的特征应呈现明显的簇状分布。

6. 下一步：从特征提取到说话人聚类

完成特征提取只是第一步。下一步是利用这些 Embedding 进行真正的“说话人聚类”。

典型流程如下：

分段：将长音频切成若干短片段（可用 VAD）
提取：用 CAM++ 获取每段的 Embedding
聚类：使用 K-Means、谱聚类或 Agglomerative Clustering 对 Embedding 分组
标注：给每一组分配一个说话人 ID，还原“谁在什么时候说话”

例如，使用 Scikit-learn 进行简单聚类：

from sklearn.cluster import AgglomerativeClustering # 假设 embeddings 是 N x 192 的矩阵 clustering = AgglomerativeClustering(n_clusters=None, distance_threshold=0.3, metric='cosine', linkage='average') labels = clustering.fit_predict(embeddings) for i, label in enumerate(labels): print(f"片段 {i}: 说话人 {label}")

你会发现，高质量的 Embedding 直接决定了聚类的准确率上限。这也是为什么我们强调要用 CAM++ 这样的先进模型来提取特征。