https://arxiv.org/abs/2512.24880
mHC: Manifold-Constrained Hyper-Connections

mHC改进方法：自适应动态流形约束超连接（AD-mHC）

一、改进背景与核心痛点

DeepSeek提出的mHC通过将超连接矩阵投影至双随机矩阵构成的伯克霍夫多面体流形，有效解决了HC架构的训练不稳定性问题，同时仅增加6.7%的训练开销。但现有方案仍存在三点可优化空间：

1. 流形约束固定化：全程采用单一双随机矩阵流形，无法根据网络层位置（浅层特征提取/深层推理融合）、任务类型（简单分类/复杂推理）动态调整约束强度，难以平衡不同阶段的表达能力与稳定性。

2. Sinkhorn-Knopp算法开销：迭代式归一化过程虽能逼近双随机矩阵，但在深层、宽流场景下仍产生累积计算成本，且迭代次数固定导致资源浪费。

3. 跨流特征差异化不足：所有残差流共享统一约束规则，未考虑不同流的特征重要性差异，易导致冗余信息干扰核心特征传递。

基于此，AD-mHC从动态约束适配、算法效率优化、特征差异化增强三个维度进行改进，在保留mHC核心优势的基础上进一步提升性能与效率。

二、AD-mHC核心改进设计

（一）自适应动态流形约束机制

核心思路：摒弃固定双随机矩阵约束，设计随网络训练进程、层位置动态调整的流形空间，引入“约束强度系数”α，实现稳定性与表达能力的动态平衡。

1. 分层约束适配：根据网络层的功能特性设定初始约束强度：

   • 浅层（前1/3网络深度）：α∈[0.7,0.9]，采用“弱双随机约束”（仅要求行和为1，列和松弛至[0.8,1.2]），保留更多特征多样性以提升表达能力；

   • 中层（中间1/3网络深度）：α=1.0，采用标准双随机矩阵约束，兼顾稳定性与特征融合效率，匹配mHC性能基线；

   • 深层（后1/3网络深度）：α∈[1.0,1.2]，采用“强双随机约束”（行和、列和严格为1，额外约束元素最小值≥ε，ε为极小正数），强化信号稳定性，避免深层梯度累积偏差。