dots.llm1：小红书开源的 MoE 架构大语言模型 - 实践

本文转载自：https://www.hello123.com/dots-llm1

**

一、✨ dots.llm1：小红书出品的高效 AI 语言模型

dots.llm1 是小红书旗下人文智能实验室（hi lab）在 2025 年 6 月开源的一款大型语言模型。它采用了先进的MoE（混合专家）架构，虽然模型总参数量高达 1420 亿，但在实际推理时每次只激活 140 亿参数。这种设计让它既能保持强大的性能，又显著降低了计算成本和响应时间，是一个十分 “聪明” 且 “经济” 的 AI 模型。

它基于11.2 万亿高质量的真实数据进行训练（未应用合成数据），特别擅长处理中文和英文任务，并且能理解长达32K 上下文的文本，非常适合用来构建各种智能应用。

项目官网与模型地址：https://huggingface.co/rednote-hilab

1.1、 核心功能亮点

• 智能稀疏激活（MoE 架构）：模型总参数高达1420 亿，但通过 MoE 架构，每次处理任务时动态选择并仅激活 140 亿参数。这就像拥有一支庞大的专家团队，每次只邀请最相关的几位专家来解决问题，极大地提升了效率。

• 高质量训练数据：其训练素材经过严格的三级清洗流程（文档准备、规则处理、模型处理），仅使用11.2 万亿高质量 token，证明了 “素材质量远比内容规模更重要” 的理念。

• ⚙️ 深度工程优化：在训练过程中采用了与英伟达合作优化的1F1B 流水线调度和分组 GEMM 计算，使得训练效率大幅提升，前向传播和反向传播速度分别比原有方案提升14% 和 6.7%。

• 强大的中文理解与生成：在多项权威基准测试中表现出色，在C-Eval上的得分达到92.2，在CLUEWSC（中文语义理解）上更是达到了92.6的业界领先水平，展现了其在中文任务上的强大竞争力。

• 超长上下文帮助：支持32K tokens的长上下文窗口，能够更好地理解和生成长文档，非常适合需要进行长文阅读、摘要生成或复杂推理的任务。

• 开放与透明：不仅开源了最终模型，还开放了训练过程中的所有中间检查点（每 1 万亿 token 一个），并采用MIT 许可证，为研究者和开发者献出了极大的透明度和二次开发的便利。

1.2、 关键应用场景

• 智能问答与客服系统：能构建流畅、知识丰富的多轮对话助手，适用于电商客服、企业咨询、教育答疑等场景。

• 内容创作与营销文案生成：非常擅长生成社交媒体文案、营销文案、新闻稿等各类文本，是内容创作者和品牌方的得力助手。

• 语义搜索与信息检索：许可提升搜索引擎和电商平台的查询理解能力和结果相关性，让用户更快找到所需信息。

• 文本摘要与知识管理：能快速为长篇文章、报告、论文生成精准的摘要，帮忙企业高效处理内部文档和构建知识库。

• ‍ 教育辅助与 AI 辅学：可用于智能出题、答题解析、作文润色等，为老师和学生提供学习帮助。

• 翻译与跨语言应用：其强大的中英双语能力使其能胜任高质量的翻译任务以及跨语言的信息检索和内容生成。

1.3、 资源获取与体验

你可以通过以下方式体验模型、获取代码和技术报告：

• 在线体验 Demo：https://huggingface.co/spaces/rednote-hilab/dots-demo

• 模型下载（Hugging Face）：https://huggingface.co/rednote-hilab

• 技术报告与代码（GitHub）：https://github.com/rednote-hilab/dots.llm1

二、 dots.llm1 深度评测与竞品对比

dots.llm1 的发布，为 2025 年的大模型赛道带来了新的活力。它不仅技术上有亮点，其 “高效” 和 “开放” 的理念也引起了广泛关注。下面我们来看看它的实际表现，并与市场上的其他主流模型做个比较。

2.1、✅ 核心优点

1. 极高的性能效率比：这是 dots.llm1 最突出的优势。它以仅激活 140 亿参数的代价，构建了接近甚至部分超越Qwen2.5-72B等大规模密集模型的效果。这意味着在推理速度更快、计算成本更低的情况下，用户能获得顶级模型的体验。

1. 卓越的中文理解和生成能力：在C-Eval、CLUEWSC等权威中文基准测试中取得了顶尖分数（C-Eval: 92.2, CLUEWSC: 92.6），甚至超过了 DeepSeek-V3 等模型，使其在处理中文任务时极具竞争力。

1. 工程优化深入，训练透明开放：团队在底层训练框架上进行了大量优化（如 1F1B 流水线、分组 GEMM），显著提升了训练效率。更重要的是，开源了全部训练中间检查点，这种开放性对研究社区极为友好，是其他很多模型未能做到的。

1. 数据质量至上：仅用11.2T 高质量数据就达到了惊人效果，证明了其数据清洗和构建流程的优越性，为 “大模型≠大信息” 给出了成功范例。

2.2、❌ 主要缺点

1. 代码能力尚有提升空间：尽管综合能力强劲，但其在代码生成方面的表现与最顶尖的模型（如 GPT-4o、Qwen3）相比，仍存在一定差距，这可能限制了它在纯编程辅助场景的应用。

1. MoE 路由的稳定性挑战：这是所有 MoE 模型的共同课题。在处理某些极端或特殊输入时，专家选择的稳定性和最终输出的一致性可能需要进一步的实践验证。

1. 社区生态与工具链处于早期：作为新发布的模型，其周边的微调工具、部署优化方案、应用案例相比发布更早的模型（如 Qwen、DeepSeek）还不够丰富，需要社区和时间去积累。

2.3、 与主要竞品对比

在当前的开源大模型领域，dots.llm1 面临着几个强大的对手，主要包括阿里的 Qwen2.5-72B/Qwen3 系列、DeepSeek-V3，以及Meta 的 Llama 3 系列等。

特性维度	dots.llm1 (小红书)	Qwen2.5-72B (阿里)	DeepSeek-V3 (深度求索)	Llama 3-70B (Meta)
核心架构	MoE (142B 总，14B 激活)	密集 (72B)	密集 (未知)	密集 (70B)
突出优势	极高的效率比、顶尖中文能力、训练完全透明	综合能力均衡、生态成熟	综合能力强大、长上下文支持出色	英语能力强劲、全球生态丰富
主要不足	代码能力非顶尖、MoE 路由稳定性需验证	计算和推理成本较高	模型细节开源不够	中文处理相对较弱
中文能力	顶尖 (C-Eval: 92.2)	优秀 (C-Eval: 89.3)	优秀 (C-Eval: 低于 92.2)	一般
开源协议	MIT (商用友好)	Apache 2.0 (商用友好)	自定义许可证	自定义许可证
适用场景	追求高效的中文应用、学术研究	需要均衡能力的企业应用	需要强大综合能力的企业应用	以英语为主的全球应用

方便总结一下一款特点鲜明的模型，它在就是：dots.llm1 效率、中文能力和开放性上做到了极致，非常适合那些特别关注成本效益、主要处理中文任务、并希望深度定制模型的企业和研究者。假如你需要极致的代码能力，可能需要关注其他专项更强的模型；如果你的应用场景全球化且多语言可靠选择；而如果你追求的是就是，Llama 3 等仍综合能力的绝对顶尖和稳定的企业级支持，Qwen 和 DeepSeek 系列则值得优先考虑。选择哪一款，最终取决于你的具体需求、技术栈和资源预算。dots.llm1 的出现，无疑为市场提供了一个高质量的新选择。