HC-SMoE: MoE Expert 合并压缩方案解读

Retraining-Free Merging of Sparse MoE via Hierarchical Clustering（HC-SMoE）长文解读

一句话总结

这篇论文要解决的是SMoE 模型太大、专家冗余严重的问题，提出了一个不需要再训练的专家合并框架 HC-SMoE，用专家输出的相似度 + 层次聚类来决定合并，再用加权方式融合专家，最终在 Qwen、Mixtral 等大模型上实现大幅减参但性能基本不掉。

背景与问题：为什么需要“合并专家”

SMoE 的核心优势是稀疏激活：每个 token 只路由到少数专家，所以算力开销受控。但专家数目一多，模型显存占用和参数量巨大，部署成本很高。
已有工作大多做剪枝，但硬剪专家会丢知识，且很多方法需要再训练或依赖任务数据。论文关注的是task-agnostic + retraining-free的场景：不重训、无任务数据，也要压模型。

SMoE 基础：路由与专家计算

SMoE 层的输出是专家输出的加权和：

y = ∑ i = 1 n P i ( x ) ⋅ E i ( x ) y=\sum_{i=1}^n P_i(x)\cdot E_i(x)y=i=1∑nPi(x)⋅Ei(x)

单个专家一般是三层 FFN（以 LLaMA 系为例）：

E ( x ) = ( σ ( x W g a t e ) ⊙ ( x W u p ) ) W d o w n E(x)=(\sigma(xW_{gate}) \odot (xW_{up}))W_{down}E(x)=(σ(xWgate)⊙(xWup))Wdown

路由采用 top-k kk选择：

P ( x ) = softmax ( topK ( x W R ) ) P(x)=\text{softmax}(\text{topK}(xW_R))P(x)=softmax(topK(xWR))

这套机制让计算稀疏、参数密集，因此参数压缩成为瓶颈。

图解：Router 用 top-2 选择专家，计算依然稀疏，但专家本体依然是完整参数块。

方法总览：HC-SMoE

核心思想是三步：

用专家输出做相似度度量
层次聚类（HC）分组专家
在每个簇内合并专家权重

图解：每个点代表一个专家输出向量，层次聚类不断合并最近簇，得到最终专家分组。

1) 为什么用专家输出做相似度

用校准数据D c a l \mathcal{D}_{cal}Dcal得到每个专家输出均值：

o j = E x ∼ D c a l [ E j ( x ) ] o_j=\mathbb{E}_{x\sim \mathcal{D}_{cal}}[E_j(x)]oj=Ex∼Dcal[Ej(x)]

优势：

更接近“功能相似度”
不依赖 routing 分布
计算成本低于拼接权重

2) 为什么用层次聚类（HC）

K-means 有随机初始化，结果不稳定。
HC 是确定性的，自底向上合并，适合专家这种高维表示。

距离度量：

d ( e i , e j ) = ∥ e i − e j ∥ 2 d(e_i,e_j)=\|e_i-e_j\|_2d(ei,ej)=∥ei−ej∥2

平均链接的 cluster 距离：

d ( A , B ) = 1 ∣ A ∣ ⋅ ∣ B ∣ ∑ a ∈ A ∑ b ∈ B d ( a , b ) d(A,B)=\frac{1}{|A|\cdot|B|}\sum_{a\in A}\sum_{b\in B} d(a,b)d(A,B)=∣A∣⋅∣B∣1a∈A∑b∈B∑d(a,b)

3) 合并方式

合并后的专家：

E ^ i = ∑ j = 1 ∣ C i ∣ α j E j , ∑ j α j = 1 \hat{E}_i=\sum_{j=1}^{|C_i|}\alpha_j E_j,\quad \sum_j\alpha_j=1E^i=j=1∑∣Ci∣αjEj,j∑αj=1

论文对比三种方式：

Average
Frequency-weighted
Fix-Dom（基于 dominant expert 的加速版 ZipIt）

理论分析（附录重点）

聚类后专家输出：

E ˉ j ( x ) = 1 ∣ G j ∣ ∑ i ∈ G j E i ( x ) \bar{E}_j(x)=\frac{1}{|G_j|}\sum_{i\in G_j}E_i(x)Eˉj(x)=∣Gj∣1i∈Gj∑Ei(x)

HC-SMoE 输出：

y H C ( x ) = ∑ i = 1 n P i ( x ) ⋅ E ˉ g ( i ) ( x ) y_{HC}(x)=\sum_{i=1}^n P_i(x)\cdot \bar{E}_{g(i)}(x)yHC(x)=i=1∑nPi(x)⋅Eˉg(i)(x)

误差上界：

∥ y o r i g ( x ) − y H C ( x ) ∥ 2 ≤ ∑ i = 1 n P i ( x ) ⋅ ∥ E i ( x ) − E ˉ g ( i ) ( x ) ∥ 2 \|y_{orig}(x)-y_{HC}(x)\|^2 \le \sum_{i=1}^n P_i(x)\cdot \|E_i(x)-\bar{E}_{g(i)}(x)\|^2∥yorig(x)−yHC(x)∥2≤i=1∑nPi(x)⋅∥Ei(x)−Eˉg(i)(x)∥2