NVSHMEM（NVIDIA Shared Memory）是NVIDIA开发的一种基于OpenSHMEM规范的并行编程接口，专为NVIDIA GPU集群提供高效且可扩展的通信能力。它通过创建跨越多个GPU内存的全局地址空间，实现细粒度的GPU发起的数据传输和同步操作。

核心特性

全局地址空间：NVSHMEM采用PGAS（Partitioned Global Address Space）编程模型，允许多个GPU共享一个逻辑上的全局地址空间，每个GPU都可以直接访问远程GPU的内存，无需显式的消息传递操作。

高效的GPU间通信：通过NVLink、InfiniBand等高带宽互连技术实现设备间直接通信，支持异步、GPU发起的数据传输，显著减少CPU-GPU同步开销。

丰富的通信原语：提供put、get、原子操作等单边通信原语，以及屏障同步、锁等同步机制，支持细粒度的内存访问和操作。

技术架构

NVSHMEM的核心机制包括：

对称内存分配：通过nvshmem_malloc()分配的对称数据对象在所有处理单元（PE）上具有相同的名称、类型和大小，返回的对称地址可以直接用于远程访问。

GPU发起通信：CUDA内核可以直接调用NVSHMEM操作，实现计算与通信的重叠，提高整体性能。

IBGDA技术：InfiniBand GPUDirect Async技术使GPU流式多处理器（SM）能够直接与网络接口控制器（NIC）交互，绕过CPU代理，显著提升小消息传输性能。

应用场景

NVSHMEM广泛应用于大规模并行计算场景，包括：

• AI训练：DeepSeek的DeepEP通信库使用NVSHMEM实现专家并行（MoE）的高效通信
• 分子动力学模拟：GROMACS等科学计算应用通过NVSHMEM实现多GPU协同计算
• 推荐系统：大规模Embedding表的分布式访问优化

性能优势

相比传统MPI+CPU方案，NVSHMEM+GPU在延迟和带宽方面均有显著提升：

NVSHMEM 3.0版本进一步增强了多节点多互连支持、主机设备ABI向后兼容性，以及CPU辅助的IBGDA功能，为跨平台应用程序提供了更好的可移植性和兼容性。