告别显存焦虑！这个框架用CPU+GPU协同，70GB显存就能微调671B大模型

玩大模型的朋友们，想必都深有体会一个痛点：显存，永远的显存！看着动辄几百上千亿参数的巨无霸模型，再看看自己那张“略显羞涩”的显卡，是不是感觉心有余而力不足？无论是推理部署还是微调训练，高昂的硬件成本都像一道无形的墙，挡住了许多探索的脚步。

今天，就给大家介绍一个由清华大学 MADSys 实验室和 Approaching.AI 联合开发的开源项目——KTransformers，它或许能彻底改变你的窘境。

KTransformers 的核心思想非常巧妙：CPU-GPU 异构计算。简单来说，就是别让 CPU 闲着，把 GPU 宝贵的显存用在刀刃上（比如计算密集的部分），而将那些吃内存大户（比如模型的权重、优化器状态等）巧妙地分流到 CPU 的海量内存中。这样一来，GPU 就能从繁重的内存压力中解放出来，专注于它最擅长的计算任务。

这个项目目前已经演进为两大核心模块：kt-kernel和kt-sft，分别针对推理和微调场景提供了极致的优化方案。

`kt-kernel`: 高性能异构推理引擎

首先是kt-kernel，一个为大模型异构推理量身打造的高性能计算核。它通过一系列优化，让 CPU 和 GPU 协同工作，流畅地运行庞大的语言模型。

核心特性包括：

•CPU 指令集加速: 充分利用了现代 CPU 的高级指令集（如 Intel 的 AMX 和 AVX512/AVX2），对 INT4/INT8 量化推理进行了深度优化，让 CPU 也能迸发强大算力。
•MoE 模型优化: 专门为现在流行的 MoE（混合专家）模型设计了高效的推理策略。你可以将模型中的“热门专家”放在 GPU 上快速响应，而将“冷门专家”放在 CPU 内存中，在不牺牲太多性能的情况下，运行远超单卡显存容量的庞大模型。
•易于集成: 提供了简洁的 Python API，可以方便地集成到 SGLang 等其他服务框架中，用于生产环境。

从性能测试来看，在 8 张 L20 GPU 和至强 CPU 的配合下，对 DeepSeek-R1 模型的推理吞吐量可以达到惊人的 227 tokens/s。

Model	Hardware Configuration	Total Throughput	Output Throughput
DeepSeek-R1-0528 (FP8)	8×L20 GPU + Xeon Gold 6454S	227.85 tokens/s	87.58 tokens/s (8-way concurrency)

`kt-sft`: 资源节约型微调框架

如果说kt-kernel解决了推理的难题，那么kt-sft就是为训练和微调打开了新世界的大门。它与主流微调框架 LLaMA-Factory 进行了深度集成，实现了令人难以置信的资源效率。

最惊人的一点是，官方数据显示，仅需 70GB 的 GPU 显存和 1.3TB 的内存，就能对 671B（6710亿）参数的 DeepSeek-V3 模型进行 LoRA 微调！

这是什么概念？过去，要微调这种体量的模型，往往需要一个由多张顶级 H100/A100 组成的昂贵集群。而现在，KTransformers 让这件事在相对“平民”的硬件配置上成为了可能。

Model	Configuration	Throughput	GPU Memory
DeepSeek-V3 (671B)	LoRA + AMX	~40 tokens/s	70GB (multi-GPU)
DeepSeek-V2-Lite (14B)	LoRA + AMX	~530 tokens/s	6GB

从上表可以看到，即便是对于 14B 的“小”模型，它也能在 6GB 显存下跑出 530 tokens/s 的高吞吐量，效率极高。

广泛的硬件与模型支持

除了强大的性能和资源效率，KTransformers 的另一个亮点是其广泛的兼容性。

•硬件支持: 不仅仅是 NVIDIA，它还支持 AMD GPU (ROCm)、Intel Arc 显卡，甚至华为昇腾 NPU，真正做到了多平台覆盖。
•模型支持: 紧跟社区前沿，已支持 Qwen3、LLaMA 4、Kimi-K2、DeepSeek 系列、GLM4-MoE 等一系列最新、最热门的大模型。