DP-LLM 文章总结与核心内容翻译

一、文章主要内容

本文聚焦于设备端大语言模型（LLM）推理中动态 runtime 约束（如延迟、精度）的适配问题，提出了一种名为DP-LLM（Dynamic-Precision LLM）的 runtime 模型自适应机制。

核心背景与问题

1. 现有多尺度量化技术虽能实现内存高效的模型变体部署，但存在局限：要么采用统一精度分配（无法支持非整数精度、未充分优化效率），要么采用静态层混合精度（忽略层对量化的敏感性随解码步骤动态变化的特性）。
2. 设备端 LLM 推理受内存限制，无法存储多个独立模型，且不同查询的 runtime 约束（精度、延迟）存在差异，需灵活适配。

核心方案

DP-LLM 基于“层量化敏感性随解码步骤动态变化”的关键观察，设计了动态层级精度分配机制，核心流程包括：

1. 离线阶段：为每个层分配候选精度集（高/低两档精度），定义“相对误差”作为量化敏感性的代理指标，通过校准数据集确定各层的精度阈值。
2. ** runtime 阶段**：通过轻量级精度选择器高效估计相对误差，为每个层在每个解码步骤动态选择适配精度。
3. 误差估计优化：采用混合策略（线性回归+随机投影）降低计算开销，结合异步估计进一步减少推理延迟。

实验结果

在 Llam