DeepSeek开源周Day6：DeepSeek V3、R1 推理系统深度解析，技术突破与行业启示

DeepSeek 在开源周第六天再次发文，中文原文、官方号在知乎

  • DeepSeek - 知乎
  • DeepSeek-V3 / R1 推理系统概览 - 知乎
  • deepseek-ai/open-infra-index: Production-tested AI infrastructure tools for efficient AGI development and community-driven innovation

引言

2025年2月，深度求索（DeepSeek）发布了V3/R1推理系统，凭借545%的成本利润率（按行业标准折算为85%）和单节点8,575 tokens/s的吞吐量，刷新了大模型推理性能的认知。本文将深度解析其技术实现，并探讨对行业的影响。

一、核心技术突破

1.1 专家并行（Expert Parallelism, EP）革命

什么是专家并行？

在MoE（Mixture-of-Experts）模型中，每个输入仅激活部分专家（如DeepSeek V3每层激活8/256个专家）。EP技术通过将专家分布到多GPU，实现：

  • 吞吐量提升：单批次处理量扩大32-144倍
  • 内存优化：单卡仅需存储部分专家参数
  • 延迟降低：减少单卡计算负载
实现细节
阶段并行策略节点数单卡负载
预填充阶段EP32 + DP324节点9路由专家+1共享专家
解码阶段EP144 + DP14418节点2路由专家+1共享专家

关键技术价值：相比传统单卡推理，EP实现数量级成本下降，H800集群效率超越英伟达H200 1.5倍

1.2 通信-计算重叠优化

双批次流水线

将请求拆分为Micro-Batch，通过交替执行隐藏通信延迟：

预填充阶段：
[计算MB1] -> [通信MB1][计算MB2] -> [通信MB2]
解码阶段：
五级流水线：Attention拆分+多阶段重叠

​

预填充阶段通信重叠

​

性能收益
  • 通信延迟降低40%
  • GPU空闲时间减少至<5%

1.3 三级负载均衡体系

负载类型优化目标实现方法
预填充负载注意力计算均衡动态分配输入token数
解码负载KVCache内存均衡请求数平均分配
专家负载热点专家分散专家使用频率监控+动态迁移

技术亮点：通过实时监控实现<2%的负载偏差，避免木桶效应

二、系统架构全景

​

DeepSeek推理系统架构

​

核心组件：

  1. 路由层：智能请求分发
  2. 缓存系统：56.3%的磁盘KV缓存命中率
  3. 弹性调度：白天全节点推理，夜间部分节点转训练
  4. 精度控制：FP8通信 + BF16计算

三、性能数据解读

3.1 核心指标

指标数值行业对比
日均吞吐量776B tokens10倍于传统方案
单H800节点解码吞吐14.8k tokens/sH200的1.5倍
平均响应延迟45-50ms竞品平均120ms+
单位token成本$0.00002行业平均$0.0001

3.2 成本结构

pie title 日成本构成（$87,072） "GPU租赁" : 72000 "机房运维" : 12000 "网络带宽" : 3072

3.3 动态扩缩容

  • 日间峰值：278节点
  • 夜间低谷：180节点
  • 智能预测：基于LSTM的负载预测模型

四、行业影响分析

4.1 技术启示

  1. MaaS规模效应：用户量达千万级时，边际成本骤降
  2. 超节点趋势：320卡紧耦合系统成为新标杆
  3. 精度创新：FP8+BF16混合精度实践

4.2 市场冲击

  • 价格战加速：行业成本认知从2/M
  • 硬件需求变化：NVLink带宽重要性凸显
  • 商业模式创新：免费服务引流+API变现的组合策略

4.3 未来挑战

  1. 万卡级EP系统的稳定性
  2. 多模态场景的扩展
  3. 动态稀疏性的极致优化

五、开源生态建设

DeepSeek同步开源五大核心模块：

  1. FlashMLA：高效注意力计算库
  2. DeepGEMM：矩阵运算优化
  3. DualPipe：双流水线调度器
  4. EPLB：专家负载均衡器
  5. profile-data：性能分析数据集
第 1 天 - FlashMLA

适用于 Hopper GPU 的高效 MLA 解码内核
针对可变长度序列进行了优化，在生产中经过实战测试

🔗 FlashMLA GitHub 存储库
✅ BF16 支持
✅ 分页 KV 缓存（块大小 64）
⚡ 性能：3000 GB/s 内存受限 |H800 上的 BF16 580 TFLOPS 计算绑定

第 2 天 - DeepEP

很高兴推出 DeepEP - 第一个用于 MoE 模型训练和推理的开源 EP 通信库。

🔗 DeepEP GitHub 存储库
✅ 高效和优化的 all-to-all 通信
✅ NVLink 和 RDMA 的节点内和节点间支持
✅ 用于训练和推理预填充的高吞吐量内核
✅ 用于推理解码的低延迟内核
✅ 原生 FP8 调度支持
✅ 灵活的 GPU 资源控制，用于计算通信重叠

第 3 天 - DeepGEMM

DeepGEMM 简介 - 一个 FP8 GEMM 库，支持密集 GEMM 和 MoE GEMM，为 V3/R1 训练和推理提供支持。

🔗 DeepGEMM GitHub 存储库
⚡ 在 Hopper GPU 上高达 1350+ FP8 TFLOPS
✅ 没有繁重的依赖，像教程一样干净
✅ 完全 Just-In-Time 编译
✅ ~300 行的核心逻辑 - 但在大多数矩阵大小中都优于专家调优的内核
✅ 支持密集布局和两种 MoE 布局

第 4 天 - 优化的并行策略

✅ DualPipe - 一种双向管道并行算法，用于 V3/R1 训练中的计算通信重叠。
🔗 GitHub 存储库

✅ EPLB - 适用于 V3/R1 的专家并行负载均衡器。
🔗 GitHub 存储库

📊 分析 V3/R1 中的计算通信重叠。
🔗 GitHub 存储库

第 5 天 - 3FS，所有 DeepSeek 数据访问的推进器

Fire-Flyer 文件系统 （3FS） - 一种并行文件系统，可利用现代 SSD 和 RDMA 网络的全部带宽。

⚡ 180 节点集群中的 6.6 TiB/s 聚合读取吞吐量
⚡ 在 25 节点集群中，GraySort 基准测试的吞吐量为 3.66 TiB/min
⚡ 每个客户端节点 40+ GiB/s 峰值吞吐量，用于 KVCache 查找
🧬 具有强一致性语义的分解架构
✅ 训练数据预处理，数据集加载，检查点保存/重新加载，嵌入向量搜索和KVCache查找以进行V3/R1中的推理

📥 3FS → GitHub - deepseek-ai/3FS: A high-performance distributed file system designed to address the challenges of AI training and inference workloads.
⛲ Smallpond - 3FS → https://github.com/deepseek-ai/smallpond 上的数据处理框架

第 6 天 - 还有一件事：DeepSeek-V3/R1 推理系统概述

通过以下方式优化吞吐量和延迟：
-🔧 跨节点 EP 支持的批量扩展
🔄 计算-通信重叠
⚖️ 负载均衡

V3/R1 在线服务生产数据：
⚡ 每个 H800 节点每秒 73.7k/14.8k 输入/输出令牌
🚀 成本利润率 545%

参考引用

  • DeepSeek-V3 / R1 推理系统概览 - 知乎
  • deepseek-ai/open-infra-index: Production-tested AI infrastructure tools for efficient AGI development and community-driven innovation

专业术语：

  • 成本利润率
    反映系统经济效益的指标，按行业标准折算后，DeepSeek的V3/R1推理系统达到85%，原数值为545% ，体现了该系统在成本控制与收益获取方面的出色表现。类似于做生意时，利润与成本的比例关系，比例越高说明盈利情况越好。
  • 吞吐量
    衡量系统数据处理能力的指标，如DeepSeek V3/R1推理系统单节点可达8,575 tokens/s，意味着该系统每秒能处理8,575个token的数据量。好比工厂每秒钟能生产的产品数量。
  • 专家并行（Expert Parallelism, EP）
    在MoE模型中，将专家分布到多个GPU的技术。通过这种方式，能提升吞吐量、优化内存使用并降低延迟，实现数量级成本下降。类似于把不同的专业工作分配给多个小组同时进行，提高整体工作效率。
  • 混合专家模型（Mixture-of-Experts, MoE）
    一种模型架构，每个输入仅激活部分专家，如DeepSeek V3每层激活8/256个专家。就像一个大型项目，不同部分由最合适的专业团队负责，而不是每个团队都处理所有任务。
  • Micro - Batch
    将请求拆分后的小批次数据单元，通过双批次流水线交替执行来隐藏通信延迟。类似于把一大份工作分成小份，轮流进行处理，提高效率。
  • 通信 - 计算重叠优化
    通过双批次流水线等方式，将通信延迟隐藏在计算过程中，降低通信延迟40%，减少GPU空闲时间至<5%。好比在做饭的同时准备餐具，充分利用时间。
  • 三级负载均衡体系
    包括预填充负载、解码负载和专家负载的均衡优化，通过动态分配输入token数、平均分配请求数、监控专家使用频率并动态迁移等方法，实现<2%的负载偏差，避免木桶效应。类似于合理分配工作任务给不同员工，让大家的工作量相对均衡，提高整体工作效率。
  • 路由层
    DeepSeek推理系统中负责智能请求分发的组件。好比一个快递分拣中心，将不同的请求准确地送到对应的处理单元。
  • 缓存系统
    用于存储数据的系统，DeepSeek推理系统的磁盘KV缓存命中率达56.3%，意味着有56.3%的请求可以直接从缓存中获取数据，提高了数据获取速度。类似于一个常用物品存放处，大部分时候能快速找到需要的东西。
  • 弹性调度
    根据不同时间段的需求，动态调整节点用途，如白天全节点推理，夜间部分节点转训练。就像一家工厂，白天全力生产产品，晚上部分设备用于设备维护或其他生产准备工作。
  • 精度控制
    采用FP8通信 + BF16计算的方式，在保证计算精度的同时，优化计算资源的使用。类似于根据不同需求选择不同精度的工具进行工作，既保证质量又提高效率。
  • 动态扩缩容
    根据系统负载动态调整所需节点数量，如DeepSeek V3/R1推理系统日间峰值278节点，夜间低谷180节点，并通过基于LSTM的负载预测模型进行智能预测。好比根据不同季节的客流量，调整商场的营业时间和工作人员数量。
  • MaaS（模型即服务，Model - as - a - Service）
    一种商业模式，当用户量达千万级时，边际成本骤降。类似于共享经济模式，使用的人越多，平均成本越低。
  • 超节点趋势
    指320卡紧耦合系统成为新标杆，体现了在大模型推理领域对硬件规模和耦合程度的新要求。好比建造大型建筑时，对建筑材料和结构紧密程度有了更高标准。
  • 动态稀疏性
    在模型计算过程中，动态调整计算资源分配，仅对重要数据进行计算，以优化计算效率。类似于在学习过程中，只重点学习最重要的知识点，提高学习效率。

DeepSeek V3/R1的突破不仅是技术胜利，更揭示了AI基础设施的演进方向：通过系统级创新将摩尔定律延伸至软件维度。随着EP技术的普及，大模型服务正在进入"水电化"的新纪元，而这场变革才刚刚开始。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/71342.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

时间复杂度练习题（6道题，C语言）

时间复杂度练习题（6道题，C语言）

// 第一道int x 90;int y 100;while (y>0)if(x>100){x x -10;y--;}else x; // 第二道for (int i 0;i<n;i){for (int j 0;j<m;j){a[i][j] 0;}}// 第三道s 0;for(int i 1;i<n;i){for(int j 1;j<n;j){s B[i][j];}}sum s; // 第四道i 1;while (i<…
阅读更多...
内网渗透信息收集linuxkali扫描ip段，收集脚本（web安全）

内网渗透信息收集linuxkali扫描ip段，收集脚本（web安全）

内网ip段扫描↓ 工具1↓ nmap -sn 192.168.128.0/24工具2↓ nbtscan 192.168.128.0/24 工具↓3 arp-scan -t 1000 192.168.128.0/24 cmd命令扫描↓ for /L %I in (1,1,255) Do ping -w 1 -n 1 192.168.128.%I | findstr "TTL" 这个命令在Windows命令提示符下使…
阅读更多...
拼电商客户管理系统

拼电商客户管理系统

内容来自&#xff1a;尚硅谷 难度&#xff1a;easy 目 标 l 模拟实现一个基于文本界面的 《 拼电商客户管理系统 》 l 进一步掌握编程技巧和调试技巧&#xff0c;熟悉面向对象编程 l 主要涉及以下知识点&#xff1a; 类结构的使用&#xff1a;属性、方法及构造器 对象的创建与…
阅读更多...
SuperMap iClient3D for WebGL三维场景与二维地图联动

SuperMap iClient3D for WebGL三维场景与二维地图联动

作者&#xff1a;Lzzzz 在城市规划&#xff0c;应急救援&#xff0c;旅游规划等项目场景中&#xff0c;普遍存在通过二维地图定位区域或路线&#xff0c;三维场景展示布局细节的情况&#xff0c;那么&#xff0c;如何使三维场景与二维地图联动起来呢&#xff0c;一起来看看如何…
阅读更多...
AWS SQS跨账户访问失败排查指南

AWS SQS跨账户访问失败排查指南

引言 在使用AWS SQS（Simple Queue Service）时，跨账户访问是常见的业务场景。例如，账户A的应用程序向队列发送消息，账户B的消费者从队列拉取消息。尽管AWS官方文档明确支持此类配置，但在实际应用中，由于权限模型的复杂性，开发者和运维人员常会遇到“策略已配置但无法接…
阅读更多...
win本地vscode通过代理远程链接linux服务器

win本地vscode通过代理远程链接linux服务器

时间&#xff1a;2025.2.28 1. win本地下载nmap.exe nmap官网 https://nmap.org/或者 https://nmap.org/download#windows下载win版本并安装。 2. vscode插件Remote-SSH 插件下载Remote-SSH 3. 配置 按照图中顺序配置ssh 1.点击左侧工具栏的“小电视”图标 2.点击ssh的…
阅读更多...
基于ArcGIS Pro、Python、USLE、INVEST模型等多技术融合的生态系统服务构建生态安全格局

基于ArcGIS Pro、Python、USLE、INVEST模型等多技术融合的生态系统服务构建生态安全格局

生态安全是指生态系统的健康和完整情况。生态安全的内涵可以归纳为&#xff1a;一&#xff0c;保持生态系统活力和内外部组分、结构的稳定与持续性&#xff1b;二&#xff0c;维持生态系统生态功能的完整性&#xff1b;三&#xff0c;面临外来不利因素时&#xff0c;生态系统具…
阅读更多...
Java 入门 （超级详细）

Java 入门 （超级详细）

一、什么是Java Java是一种高级编程语言&#xff0c;由Sun Microsystems公司于1995年推出。Java具有跨平台性、面向对象、健壮性、安全性、可移植性等特点&#xff0c;被广泛应用于企业级应用开发、移动应用开发、大数据处理、云计算等领域。Java程序可以在不同的操作系统上运…
阅读更多...
神经网络 - 激活函数（Swish函数、GELU函数）

神经网络 - 激活函数（Swish函数、GELU函数）

一、Swish 函数 Swish 函数是一种较新的激活函数&#xff0c;由 Ramachandran 等人在 2017 年提出&#xff0c;其数学表达式通常为 其中 σ(x) 是 Sigmoid 函数&#xff08;Logistic 函数&#xff09;。 如何理解 Swish 函数 自门控特性 Swish 函数可以看作是对输入 x 进行“…
阅读更多...
学习笔记08——ConcurrentHashMap实现原理及源码解析

学习笔记08——ConcurrentHashMap实现原理及源码解析

1. 概述 为什么需要ConcurrentHashMap&#xff1f; 解决HashMap线程不安全问题&#xff1a;多线程put可能导致死循环&#xff08;JDK7&#xff09;、数据覆盖&#xff08;JDK8&#xff09; 优化HashTable性能&#xff1a;通过细粒度锁替代全局锁&#xff0c;提高并发度 对比…
阅读更多...
算法之排序算法

算法之排序算法

排序算法 ♥常见排序算法知识体系详解♥ | Java 全栈知识体系 算法 - 排序 | CS-Notes 面试笔记 十大经典排序算法总结 | JavaGuide
阅读更多...
C#释放内存空间的方法

C#释放内存空间的方法

目录 前言释放 C# 对象内存的六种方法1、手动释放内存空间2、使用 Using 语句3、使用 垃圾回收器4、GC.Collect() 方法5、GC.WaitForPendingFinalizers() 方法6、WeakReference 类 注意 前言 当不再需要对象时释放内存空间对于防止内存泄漏和提高应用程序性能至关重要。C# 提供…
阅读更多...
pg pg_prewarm用法

pg pg_prewarm用法

按照插件 > create extension pg_prewarm ;缓存表 > test# select pg_prewarm(weather,buffer ) ; pg_prewarm > ------------ > 1缓存表部分内容 test# select pg_prewarm(weather,buffer,main,0,0) ;pg_prewarm ------------1 (1 row)表大小只有0号…
阅读更多...
C语言总结目录

C语言总结目录

一、数据类型【文章链接】 二、标识符【文章链接】​​​​​​​ #编译GCC 三、程序结构语句 四、输入输出函数 五、数组 六、指针 七、数组指针&&指针数组 八、排序算法 九、结构体 十、链表 十一、宏定义 十二、文件读写 十三、静态库&&动态库…
阅读更多...
Lua | 每日一练 (5)

Lua | 每日一练 (5)

&#x1f4a2;欢迎来到张胤尘的技术站 &#x1f4a5;技术如江河&#xff0c;汇聚众志成。代码似星辰&#xff0c;照亮行征程。开源精神长&#xff0c;传承永不忘。携手共前行&#xff0c;未来更辉煌&#x1f4a5; 文章目录 Lua | 每日一练 (5)题目参考答案浅拷贝深拷贝使用场景…
阅读更多...
HOW - 在Windows浏览器中模拟MacOS的滚动条

HOW - 在Windows浏览器中模拟MacOS的滚动条

目录 一、原生 CSS 代码实现模拟 macOS 滚动条额外优化应用到某个特定容器 二、Antd table中的滚动条场景三、使用第三方工具/扩展 如果你想让 Windows 里的滚动条 模拟 macOS 的效果&#xff08;细窄、圆角、隐藏默认轨道&#xff09;。 可以使用以下几种方案&#xff1a; 一…
阅读更多...
服务器租用：静态BGP和动态BGP分别指什么？

服务器租用：静态BGP和动态BGP分别指什么？

今天小编主要来带大家一起了解一下静态BGP和动态BGP分别是指什么&#xff1f; BGP主要是用在不同网络之间进行交换路由信息的协议&#xff0c;通常是用在互联网当中&#xff0c;而静态BGP和动态BGP是两种不同的方法来配置BGP路由&#xff0c;静态BGP路由是由手动配置的&#xf…
阅读更多...
版图自动化连接算法开发 00004 ------ 给定一个点，添加一个中间点实现 Manhattan 方式连接两个给定的坐标点

版图自动化连接算法开发 00004 ------ 给定一个点，添加一个中间点实现 Manhattan 方式连接两个给定的坐标点

版图自动化连接算法开发 00004 ------ 给定一个点，添加一个中间点实现 Manhattan 方式连接两个给定的坐标点 引言正文引言 必读文章 ------ 版图自动化连接算法开发 00001 ------ 直接连接两个给定的坐标点。 此处，我们对给定点的坐标进行一下限制，因为是只添加一个点，因…
阅读更多...
JavaEE--计算机是如何工作的

JavaEE--计算机是如何工作的

一、一台计算机的组成部分 1.CPU&#xff08;中央处理器&#xff09; 2.主板&#xff08;一个大插座&#xff09; 3.内存&#xff08;存储数据的主要模板&#xff09; 4.硬盘&#xff08;存储数据的主要模板&#xff09; 内存和硬盘对比&#xff1a; 内存硬盘读写速度快慢存…
阅读更多...
电源测试系统有哪些可以利用AI工具的科技？？

电源测试系统有哪些可以利用AI工具的科技？？

AI技术的发展对电源模块测试系统的影响是深远的&#xff0c;不仅协助系统提升了测试效率和精度&#xff0c;还推动了测试方法的创新和智能化。那么在电源测试系统中哪些模块可以利用AI工具实现自动化测试? 1. 自动化测试与效率提升 智能测试流程优化 AI算法可以自动优化测试…
阅读更多...
最新文章

Copyright @ 2022~2023