一、CUDA内存模型核心框架

CUDA内存模型的核心是主机（Host）内存（CPU内存）和设备（Device）内存（GPU内存）的分层设计，不同内存类型的访问效率、特性差异直接决定了GPU程序（尤其是TensorRT部署）的性能上限。整体性能层级（从低到高）：
Pageable Memory < Pinned Memory < Global Memory < Shared Memory

二、Host Memory（主机内存/CPU内存）

Host Memory是CPU可直接访问的内存，逻辑上分为两类（物理上同属内存条，仅操作系统管理策略不同）：

关键补充（结合TensorRT部署）：

• DMA技术是Pinned Memory高性能的核心：GPU通过PCIe总线直接读取Pinned Memory，无需CPU参与数据中转，这在TensorRT推理时的批量数据传输（如输入图像从Host到Device）场景中，能显著降低延迟。
• Pinned Memory并非“越多越好”：部署边缘设备（如Jetson）时，物理内存有限，需合理控制Pinned Memory的分配规模。
  

三、Device Memory（设备内存/GPU内存）

Device Memory是GPU专属内存，按与计算核心的距离/访问效率分为多个类型，聚焦部署高频使用的两类：

1. Global Memory（全局内存）

• 位置：GPU片外内存（显存颗粒），容量最大（几GB到上百GB）；
• 访问特性：所有线程可访问，延迟最高；
• 分配方式：cudaMalloc（Runtime API）/cuMemAlloc（Driver API）；
• 核心用途：TensorRT推理时存储模型权重、输入/输出张量（是部署中最常用的Device Memory类型）。

2. Shared Memory（共享内存）

• 位置：GPU片上内存（与计算核心同芯片），容量极小（几十KB/Streaming Multiprocessor）；
• 访问特性：仅同一Block内的线程共享，延迟极低（比Global Memory快10~100倍）；
• 分配方式：核函数内通过__shared__关键字声明；
• 核心用途：TensorRT内核优化（如卷积/矩阵运算的分块计算），减少Global Memory的重复访问，提升推理吞吐量。

其他Device Memory（部署中低频使用）：

• Register Memory（寄存器内存）：计算核心专属，速度最快，自动分配，无显式API；
• Constant/Texture Memory（常量/纹理内存）：只读内存，优化特定数据访问（如模型固定参数），TensorRT会自动优化这类内存的使用。

四、Host-Device数据传输的底层逻辑

cudaMemcpy是数据传输的核心API，其行为因Host内存类型不同而差异显著：

1. 当Host为Pageable Memory时（如new/malloc分配）：

• Host → Device：CUDA底层自动创建临时Pinned Memory → 拷贝Pageable数据到临时Pinned → 拷贝到Device → 释放临时Pinned；
• Device → Host：同理，多一次临时Pinned Memory的中转拷贝。
• 性能损耗：额外的拷贝步骤会增加约20%~50%的传输时间（视数据量而定）。

2. 当Host为Pinned Memory时：

• Host ↔ Device：直接通过DMA传输，无中转步骤，是部署中推荐的传输方式。
  

五、核心代码实操解析（逐行拆解）

以下是原示例代码的深度解析，结合部署场景说明每一步的意义：

#include<cuda_runtime.h>#include<stdio.h>#include<string.h>// 封装CUDA Runtime API错误检查（部署必备：快速定位内存/传输错误）#definecheckRuntime(op)__check_cuda_runtime((op),#op,__FILE__,__LINE__)bool__check_cuda_runtime(cudaError_t code,constchar*op,constchar*file,intline){if(code!=cudaSuccess){constchar*err_name=cudaGetErrorName(code);// 获取错误码名称constchar*err_message=cudaGetErrorString(code);// 获取错误详情printf("runtime error %s:%d %s failed. \n code = %s, message = %s\n",file,line,op,err_name,err_message);returnfalse;}returntrue;}intmain(){// 1. 指定使用的GPU设备（多卡部署必备：避免内存分配到错误设备）intdevice_id=0;checkRuntime(cudaSetDevice(device_id));// 2. 分配GPU Global Memory（存储推理时的张量数据）float*memory_device=nullptr;checkRuntime(cudaMalloc(&memory_device,100*sizeof(float)));// 分配100个float的全局内存// 3. 分配Host Pageable Memory（普通内存，效率低，仅演示）float*memory_host=newfloat[100];memory_host[2]=520.25;// 模拟输入数据// 4. Pageable → Device（底层自动中转Pinned Memory，效率低）checkRuntime(cudaMemcpy(memory_device,memory_host,sizeof(float)*100,cudaMemcpyHostToDevice));// 5. 分配Host Pinned Memory（部署推荐：高效数据传输）float*memory_page_locked=nullptr;checkRuntime(cudaMallocHost(&memory_page_locked,100*sizeof(float)));// 6. Device → Pinned（直接DMA传输，效率高，模拟推理结果回传）checkRuntime(cudaMemcpy(memory_page_locked,memory_device,sizeof(float)*100,cudaMemcpyDeviceToHost));// 验证数据传输正确性（部署时需校验输入/输出数据）printf("%f\n",memory_page_locked[2]);// 输出520.25，说明传输成功// 7. 内存释放（必须配对：避免内存泄漏，部署时尤其注意）checkRuntime(cudaFreeHost(memory_page_locked));// Pinned内存专用释放delete[]memory_host;// Pageable内存释放checkRuntime(cudaFree(memory_device));// Device内存释放return0;}

编译运行说明：

• 编译命令（Linux）：nvcc memory_demo.cu -o memory_demo -lcudart；
• 运行结果：输出520.250000，验证数据从Pageable→Device→Pinned的完整传输链路。
  

六、TensorRT部署中的内存优化原则

1. 优先使用Pinned Memory：推理的输入数据（如预处理后的图像张量）提前分配Pinned Memory，避免Pageable→Device的中转损耗；
2. 合理分配Global Memory：TensorRT引擎初始化时，提前分配足够的Global Memory存储输入/输出/中间张量，避免推理过程中频繁分配释放（减少开销）；
3. 内存释放规范：cudaMalloc对应cudaFree，cudaMallocHost对应cudaFreeHost，new对应delete，部署时遗漏释放会导致显存泄漏（尤其长期运行的推理服务）；
4. Shared Memory利用：自定义TensorRT插件时，通过Shared Memory优化核函数（如卷积分块），提升推理吞吐量。

总结

1. CUDA内存核心分为Host（Pageable/Pinned）和Device（Global/Shared），性能层级为Pageable < Pinned < Global < Shared；
2. Pinned Memory是Host→Device高效传输的关键，TensorRT部署中应优先使用，避免Pageable内存的中转损耗；
3. 内存分配/释放必须配对（cudaMalloc-cudaFree、cudaMallocHost-cudaFreeHost），防止部署时出现内存泄漏。