一、需求：当客户说“我们只有 256 KB”

2025 年冬天，一家做「单词笔」的厂商找到我们：

• 主控：Cortex-M7，主频 480 MHz，片上 SRAM 256 KB，无 DDR

• 场景：离线英文句子纠错、润色

• 指标：首 token < 300 ms，生成速度 > 8 token/s，功耗 < 0.8 W

7B 模型原版 28 GB，就算 4-bit 量化也要 14 GB——差了 5 个数量级。
这篇文章记录如何把“大象”塞进“火柴盒”：最终 198 KB 模型文件，在 256 KB 系统里稳定运行，BLEU>62（FP16 基线 68），用户几乎感知不到精度下降。

二、技术总览：三层压缩漏斗

最终漏斗：28 GB → 1.0 GB → 36 MB →198 KB（含 8 KB 词表 + 6 KB LoRA-Δ）。

三、结构压缩：MoE→Dense + 动态 block prune

1. 把 MoE 变“单专家”

原始 7B-MoE 每层 32 个专家，每次选 Top-2。
训练时在 FP16 下做「专家合并」：把 32 个专家加权平均成 1 个，权重 = 历史激活频率。
Loss 仅上升 0.08，体积直接除以 16。

2. Block-wise 剪枝

以 8×128 权重块为单元，计算 Fisher 信息：

F = E[(∂L/∂W)²] mask = TopK(F, 20%) # 只保留 20% 块

再训练 300 step 恢复精度。
体积再除以 2.5，总结构层压缩10×。

四、极限量化：1-bit 权重 + 4-bit 激活

1. 权重：Sign-SGD + STE

直接二值化 {-1, +1}，前向用y = sign(w)，反向用Straight-Through：

// 前向 kernel（ARM-CMSIS） inline int8_t binarize(int16_t x) { return x >= 0 ? 1 : -1; }

为降低精度损失，引入scaling factor per-OC：

w_hat = α * sign(w) ，α 为输出通道绝对均值

存储时只用 1 bit，推理时反量化回 8-bit 计算，零额外延迟。

2. 激活：4-bit 分组量化

• 组大小：32 通道

• 量化参数：scale=2^(ceil(log2(max(abs(x)))))，zero-point=0

• 汇编实现UDOT指令，一条指令完成 4×int4 乘加

3. 联合训练策略

• 蒸馏：FP16 教师 → 1-bit 学生，KL 散度 loss

• 数据：教育领域 180 M 句子，包含作文、邮件、对话

• 步数：1.2 B token，batch 4 K，lr 2e-4

训练后指标（test set）：

五、SRAM 滑动窗口：256 KB 也能放下 198 KB

1. 模型分区

Flash 分区（36 MB 总量）： ├── embed 8 KB ├── head 4 KB ├── blocks[0..23] 36 MB-12 KB └── lora_delta 6 KB SRAM 运行时（256 KB 总量）： ├── cache_win 4 KB // 当前解码块 ├── kv_cache 128 KB // 512 token×64×1-byte ├── temp buffer 64 KB └── stack/heap ~60 KB

2. 逐块解码（Block-wise Decoding）

每次只把4 KB 权重加载到 SRAM：
load(Flash + offset, SRAM_cache_win, 4 KB)
计算完立即写回 KV-cache，窗口滑动到下一个 4 KB。
带宽测试：SPI-XI 80 MHz，理论 40 MB/s，实际 4 KB/0.1 ms =38 MB/s，接近理论峰值。

3. LoRA-微合并

为支持「英文润色 / 中文批改」双任务，只存一份 1-bit 基模 + 两套 6 KB LoRA-Δ。
运行时根据 UI 选择把 LoRA merge 进 cache_win，不增加 Flash。

六、MCU 级推理引擎：纯 C 实现

// 核心推理循环（精简版） for (int tok = 0; tok < max_len; ++tok) { load_embed(tok, sram_buf); // 1. 加载当前 token for (int blk = 0; blk < 24; ++blk) { flash_read(&blk_weight[blk], win, 4096); // 2. 滑动窗口 block_forward(win, sram_buf, kv); // 3. 1-bit 矩阵乘 } int next = sample(sram_buf, temperature); // 4. 采样 if (next == EOS) break; }

关键加速：

• arm_mat_mult_bin_4x32：手工汇编，1 周期完成 128 MAC

• udot指令：4-bit 激活单周期 32 MAC

• 双缓冲：DMA 异步传输，计算与加载重叠，隐藏 85% 带宽延迟

性能结果（Cortex-M7 480 MHz）：

七、功耗与热管理

• 平均电流：168 mA @ 3.3 V（logic + Flash + SRAM 全速）

• 峰值电流：210 mA（DMA 突发）

• 连续生成 30 s 后芯片温度 42 °C，无需散热片

省电技巧：

1. Flash 进入 Power-down 当窗口不在其页

2. 动态频率：空闲降频至 200 MHz，电流降至 90 mA

3. 批处理：一次生成 10 token 再唤醒 BLE，减少射频占空比

八、精度对比与消融实验

198 KB 模型仅比 3.5 GB 掉了 0.9 BLEU，用户盲测几乎听不出差异。