文章核心总结与翻译
一、主要内容
文章针对低数据场景下大语言模型（LLM）微调时的过度自信问题，提出了上下文低秩适配（C-LoRA）方法。该方法基于贝叶斯框架，通过轻量级上下文模块实现数据依赖的不确定性估计，同时保持参数高效性。实验以LLaMA2-7B为基准，在6个常识推理数据集上验证，C-LoRA在不确定性量化（校准误差ECE、负对数似然NLL）和泛化能力上优于现有方法，且训练效率更高，仅需1500-2000轮迭代即可收敛。
二、核心创新点
- 提出数据依赖的贝叶斯微调框架，明确建模数据固有的偶然不确定性（aleatoric uncertainty），解决现有方法忽略输入特性影响的缺陷。
- 设计轻量级LoRA分解结构（插入中间矩阵E），将随机参数复杂度与模型维度解耦，降低计算成本。
- 引入层级上下文模块，通过自回归方式建模每层LoRA参数的输入依赖分布，实现样本级精准不确定性估计。
- 采用摊销变分推断优化目标，平衡校准质量与推理效率，无需后验采样也能达到优异性能。
三、关键部分翻译（Markdown格式）
Abstract
低秩适配（LoRA）为大语言模型（
