为什么AI算力霸主永远是英伟达？
不算不知道，一算吓一跳：在英伟达平台每花一美元，获得的性能是AMD的15倍。
尽管英伟达卖的更贵，但只要买齐一套，就更省钱。
来自Signal65的一份最新详尽报告揭示了这个现实，一定条件下生成同样数量的token，英伟达的成本只有AMD的十五分之一。
这份报告基于SemiAnalysis Inference MAX的公开基准测试数据，时间跨度从2025年10月到12月，覆盖了从密集模型到前沿MoE推理模型的全场景测试。
黄仁勋的“买的越多，省的越多”原来是真的。
MoE时代：8卡系统撞上Scaling天花板
AI模型正在经历一场架构革命，打开Artificial Analysis排行榜就会发现，智能度排名前十的开源模型清一色都是MoE*（Mixture of Experts，专家混合）*推理模型。
另一项来自OpenRouter的数据显示，超过50%的token流量正在被路由到推理模型上。
MoE架构的核心思路是把模型参数拆分成多个专门化的“专家”子网络，每个token只激活其中一小部分。
以经典的DeepSeek-R1为例，它拥有6710亿总参数，但每个token只激活370亿——这让它能以更低的计算成本提供前沿级别的智能。
问题随之而来。当专家分布在多块GPU上时，GPU之间的通信延迟会导致计算单元空闲等待数据，这些空闲时间直接转化为服务商的成本。
报告指出，无论是英伟达B200还是AMD MI355X，所有8卡系统在超出单节点规模后都会撞上“扩展天花板”（scaling ceiling）。
英伟达GB200 NVL72的解法是把72块GPU通过NVLink连接成一个单一域，提供130 TB/s的互联带宽。
在软件层面，整个系统就像一块巨型GPU一样运作。配合英伟达Dynamo推理框架的分离式预填充-解码调度和动态KV缓存路由，这套架构能够有效突破8卡系统的通信瓶颈。
模型越复杂，英伟达的优势越明显
报告测试了三类典型模型：模型越复杂，英伟达的优势越明显。
在密集模型Llama 3.3 70B上，英伟达B200对比AMD MI355X的领先幅度相对温和。
在基线交互性*（30 tokens/sec/user）*下，B200的性能约为MI355X的1.8倍；当交互性要求提升到110 tokens/sec/user时，这一差距扩大到6倍以上。
中等规模的MoE模型GPT-OSS-120B开始让差距变得更加显著。
这款OpenAI开源模型拥有1170亿总参数，但每个token只激活约51亿参数。在2025年12月的测试数据中，100 tokens/sec/user交互性下B200的性能接近MI355X的3倍。
在更符合推理模型需求的250 tokens/sec/user条件下，差距扩大到6.6倍。
两个平台的绝对性能相比10月都有显著提升，英伟达的峰值吞吐从约7000 tokens/sec跃升至14000以上，AMD则从约6000提升到8500左右，但相对差距反而拉大了。
真正的分水岭出现在前沿推理模型DeepSeek-R1上。
这款模型集MoE路由、大参数规模和高强度推理生成于一身，对基础设施的要求极为苛刻。
测试结果显示：在25 tokens/sec/user交互性下，GB200 NVL72的每GPU性能是H200的10倍、MI325X的16倍；在60 tokens/sec/user下，相比H200的优势扩大到24倍，相比MI355X达到11.5倍；在75 tokens/sec/user下，GB200 NVL72的性能是B200单节点配置的6.5倍，是MI355X的28倍。
更关键的是，GB200 NVL72能够达到竞争平台根本无法企及的水平，在28卡配置下可以输出超过275 tokens/sec/user，而MI355X在相当吞吐水平下的峰值只有75 tokens/sec/user。
Token经济学：贵了1.86倍，便宜了15倍
直觉上，性能更强的平台应该更贵。事实也确实如此：根据Oracle Cloud的公开定价，GB200 NVL72的每GPU每小时价格为16美元，MI355X为8.60美元，前者是后者的1.86倍。
如果参照CoreWeave的定价，GB200 NVL72相比上一代H200的价格也贵了约1.67倍。
但报告的计算揭示了一个反直觉的结论：
在25 tokens/sec/user交互性下，GB200 NVL72的性能优势为5.85倍，除以1.86倍的价格溢价，每美元性能仍是MI355X的3.1倍。
在75 tokens/sec/user交互性下，28倍的性能优势除以1.86倍的价格，每美元性能达到MI355X的15倍，这意味着生成同等数量的token，英伟达平台的成本只有AMD的十五分之一。
与上一代产品的对比同样惊人。
报告估算在DeepSeek-R1的典型工作负载下，GB200 NVL72相比H200的性能提升约20倍。
而GB200 NVL72价格仅上涨1.67倍，换算下来每美元性能提升约12倍，单token成本降至H200的十二分之一。
MoE推理让网络成为推理成本的瓶颈，而机柜级的GB200 NVL72恰好解决了这个问题。价值的衡量标准正在从单纯的算力转向“每美元能产出多少智能”。
报告在结论中指出，AMD的竞争力并未被完全否定——在密集模型和容量驱动的场景下，MI325X和MI355X仍有用武之地。
AMD的机柜级解决方案Helios也在开发中，可能在未来12个月内缩小差距。
但就当前的前沿推理模型而言，从芯片到互联到软件的端到端平台设计，已经成为成本效益的决定性因素。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
