怎么用LoRA的低秩结构近似Fisher矩阵
目录
- 怎么用LoRA的低秩结构近似Fisher矩阵
- **1. Fisher矩阵的内存挑战**
- **2. LoRA的低秩结构与Fisher近似**
- **3. 具体实现步骤**
- **4. 示例说明**
- **5. 有效性分析**
- **6. 扩展与优化**
- **总结**
在LoRA（低秩适应）中，通过低秩结构近似Fisher矩阵的核心思想
是利用参数矩阵的低秩特性，将高维Fisher矩阵分解为低秩矩阵的乘积，从而显著降低内存占用。以下是具体方法和示例说明：
1. Fisher矩阵的内存挑战
- Fisher矩阵：在自然梯度下降中，Fisher信息矩阵 F F F 描述了参数空间的曲率，用于调整梯度方向以优化收敛性。其计算复杂度为
