简介这是一套面向Python开发者与高性能计算初学者的GPU编程实战源码围绕Python与CUDA结合展开帮助读者从零构建基于GPU的深度神经网络并解决数据科学与高性能计算中的实际问题。资源包共52个文件约307KB以43个py脚本为主体辅以4个cu内核文件、1个pdf软硬件清单、1个bat环境启动脚本、1个data数据集、1个txt说明及1张jpg图片覆盖环境搭建、PyCUDA入门、内核调试与性能分析、Scikit-CUDA库调用、深度神经网络实现及CUDA性能优化等环节。目录按章节组织包含Mandelbrot、前缀和、卷积、矩阵乘法、蒙特卡洛积分、动态并行、Thrust与cuBLAS等典型示例便于对照学习内核编写、流与事件、共享内存及原子操作等要点。目前已有272人学习适合希望系统掌握GPU加速与并行计算实践的读者参考。1. 从一份 GPU 编程实战源码说起Python CUDA 到底能跑出什么很多人第一次看到「GPU 编程实战--基于 Python 和 CUDA」这类源码包第一反应是「Python 不是慢吗怎么还能写 CUDA」。这个直觉只对了一半。Python 本身确实不适合做密集计算但它的定位是调度层用 Python 管内存分配、管 kernel 启动、管数据搬运真正吃算力的循环体交给 CUDA C/C 编译出来的 kernel 去跑。这套分工在深度学习框架里已经跑了十几年PyTorch 的底层就是这个模式。这份源码包的价值不在于「教你 Python 语法」而在于把 GPU 编程里最容易翻车的几件事——环境版本对齐、host/device 内存拷贝、线程块尺寸选择、多版本 CUDA 共存——用可运行的例子串起来。适合两类人一是写过 NumPy 但没碰过 GPU 的数据/算法工程师想把手里的矩阵运算搬到显卡上二是刚装完 CUDA、跑通了nvidia-smi却不知道下一步写什么的学生。如果你属于这两类下面这套路径能让你在本地把源码跑起来并且知道每个参数为什么这么设。需要提前说清楚这份源码是「实战」性质不是框架源码它不会帮你封装好一切。你得自己处理编译、链接、路径。这恰恰是它的价值——踩过的坑才是自己的。2. 环境搭建Python、CUDA、编译工具链的版本对齐2.1 先确认显卡驱动能撑到哪个 CUDA 版本装 CUDA 之前不要急着下载安装包先看驱动。驱动版本决定了你能用的 CUDA 上限装超了就是白装。在终端执行nvidia-smi输出右上角会有一行CUDA Version: 12.x这个数字是驱动支持的最高 CUDA 运行时版本不是你已经装的版本。比如显示 12.4意味着你可以装 12.4 及以下的 CUDA Toolkit装 12.6 就可能报CUDA driver version is insufficient。再看一眼显卡型号和计算能力nvidia-smi --query-gpuname,compute_cap --formatcsvcompute_cap就是计算能力Compute Capability比如 8.6、8.9。这个值决定了编译 kernel 时-arch参数怎么填。填低了浪费性能填高了直接编译失败。RTX 30 系是 8.640 系是 8.9这个对应关系要记住。提示如果你用的是 WSL2nvidia-smi在 WSL 里能正常显示但 CUDA Toolkit 要装在 WSL 内部不要试图在 Windows 侧装完让 WSL 共用那是两套东西。2.2 用 conda 隔离 Python 环境别污染系统 Python源码包通常对 Python 版本有要求常见是 3.8 到 3.10。系统自带的 Python 版本往往不对而且直接pip install到系统环境后面想换版本就是一场灾难。用 conda 建独立环境conda create -n gpu_py python3.9 -y conda activate gpu_py为什么选 3.9 而不是最新的 3.12因为 CUDA 相关的 Python 绑定库pycuda、numba、cupy对新版本 Python 的支持往往滞后半年到一年。3.9 是兼容性最稳的区间源码包里如果有requirements.txt大概率也是按这个区间写的。装完 Python 后装基础科学计算栈pip install numpy matplotlib pycudapycuda是这份源码最可能用到的绑定库它让你在 Python 里直接写 CUDA C 代码字符串并编译执行。如果pip install pycuda报编译错误说明缺 CUDA 头文件路径先确认 CUDA Toolkit 装好了再回来装。2.3 CUDA Toolkit 安装与多版本共存Linux 下推荐用 runfile 安装比 apt 可控wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run sudo sh cuda_12.4.0_550.54.14_linux.run安装时取消勾选 Driver因为驱动已经通过系统包管理装好了重复装容易冲突。只勾 CUDA Toolkit 和 Samples。装完后配置环境变量写进~/.bashrcexport CUDA_HOME/usr/local/cuda-12.4 export PATH$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH$CUDA_HOME/lib64:$LD_LIBRARY_PATH注意这里写的是cuda-12.4而不是cuda。/usr/local/cuda通常是个软链接指向当前默认版本。如果你以后要装第二个版本比如 11.8 跑老项目把软链接切来切去很麻烦不如每个版本用绝对路径需要哪个就改CUDA_HOME。验证安装nvcc --version输出里能看到release 12.4就对了。如果提示nvcc: command not found八成是 PATH 没生效source ~/.bashrc再试。注意多版本共存时nvcc的版本和nvidia-smi显示的驱动支持版本是两回事。前者是你编译用的工具链版本后者是驱动能力上限。编译用 12.4驱动支持 12.4运行时才不会报错。3. 跑通第一个 kernel从 Python 字符串到 GPU 执行3.1 用 pycuda 写一个向量加法的最小例子源码包里第一个例子大概率是向量加法因为它是 GPU 编程的「Hello World」。下面这段代码可以直接抄import pycuda.autoinit import pycuda.driver as drv import numpy as np from pycuda.compiler import SourceModule # kernel 源码以字符串形式传入编译发生在运行时 mod SourceModule( __global__ void vec_add(float *a, float *b, float *c, int n) { int idx threadIdx.x blockIdx.x * blockDim.x; if (idx n) { c[idx] a[idx] b[idx]; } } ) vec_add mod.get_function(vec_add) N 1024 a np.random.randn(N).astype(np.float32) b np.random.randn(N).astype(np.float32) c np.zeros_like(a) # block 大小 256grid 大小按 N/256 向上取整 block_size 256 grid_size (N block_size - 1) // block_size vec_add(drv.In(a), drv.In(b), drv.Out(c), np.int32(N), block(block_size, 1, 1), grid(grid_size, 1)) print(np.allclose(c, a b))逻辑说明SourceModule把 CUDA C 代码字符串交给 nvcc 编译成 PTXget_function拿到 kernel 句柄。drv.In和drv.Out是 pycuda 的内存搬运封装In表示 host 到 device 的拷贝Out表示 device 到 host 的回传。block和grid是启动配置决定了开多少个线程。参数说明block_size选 256 是经验值不是随便定的。GPU 的 SM流多处理器以 warp 为单位调度一个 warp 是 32 个线程。block 大小取 32 的整数倍才能避免最后一个 warp 里大量线程闲置。256 在大多数显卡上能占满 SM 的寄存器资源又不至于因为 block 太大导致 occupancy 下降。grid_size用向上取整是因为 N 不一定能被 block_size 整除多出来的线程靠 kernel 里的if (idx n)挡掉。3.2 编译参数怎么调-arch 和 -O3pycuda 默认会用当前显卡的计算能力去编译但有时候你需要手动指定。在SourceModule里加optionsmod SourceModule( __global__ void vec_add(float *a, float *b, float *c, int n) { int idx threadIdx.x blockIdx.x * blockDim.x; if (idx n) c[idx] a[idx] b[idx]; } , options[-archsm_86, -O3])-archsm_86对应计算能力 8.6也就是 RTX 30 系。-O3开最高优化。这两个参数直接影响 kernel 的执行效率默认不开优化的话简单 kernel 可能慢好几倍。怎么查自己的卡该填什么前面compute_cap查到的值去掉小数点前面加sm_。8.6 就是sm_868.9 就是sm_89。填错了编译会报Unsupported gpu architecture。提示如果你不确定目标机器是什么卡可以用-archsm_75这种较通用的值牺牲一点性能换兼容性。但别用sm_35这种太老的新驱动可能已经不支持。3.3 内存拷贝是性能黑匣子什么时候该用 pinned memory上面例子里的drv.In和drv.Out每次调用都会做一次 host 到 device 的拷贝。这个拷贝走的是 PCIe 总线带宽远低于显存内部带宽。如果 kernel 本身计算量很小拷贝时间会占大头这时候 GPU 加速反而比 CPU 还慢。优化手段是用 pinned memory页锁定内存a drv.pagelocked_empty(N, np.float32) b drv.pagelocked_empty(N, np.float32) c drv.pagelocked_empty(N, np.float32) a[:] np.random.randn(N).astype(np.float32) b[:] np.random.randn(N).astype(np.float32) vec_add(a, b, c, np.int32(N), block(256,1,1), grid(grid_size,1))pinned memory 不会被操作系统换出到磁盘GPU 的 DMA 引擎可以直接访问拷贝速度能提升一到两倍。代价是分配和释放更慢而且占用的是不可换页的物理内存分配太多会导致系统内存紧张。所以只对频繁传输的缓冲区用不要所有数组都上 pinned。判断该不该优化的方法很简单用time.time()把拷贝和 kernel 执行分别计时。如果拷贝占了 70% 以上就该考虑 pinned memory 或者减少传输次数比如把多次小传输合并成一次大传输。4. 避坑与排查那些让 kernel 静默失败的细节4.1 现象kernel 跑完结果全错但不报错原因最常见的是 grid 或 block 配置算错导致部分线程没执行或者数组越界写坏了相邻内存。CUDA 的越界写不一定会触发段错误它可能只是悄悄改掉了别的变量。解决在 kernel 里加边界检查if (idx n)并且用cuda-memcheck新版本叫compute-sanitizer跑一遍compute-sanitizer python your_script.py它会告诉你哪个线程越界访问了哪块内存。这个工具是排查 GPU 内存问题的后悔药别等结果错了才想起来用。4.2 现象pycuda._driver.LogicError: cuInit failed: unknown error原因驱动和 CUDA Toolkit 版本不匹配或者 WSL2 里没装对驱动组件。WSL2 的 CUDA 支持需要 Windows 侧装好 WSL 专用驱动Linux 侧再装 Toolkit两边版本要对上。解决先在 WSL 里跑nvidia-smi如果能显示显卡信息说明驱动通了。然后确认nvcc --version和nvidia-smi显示的 CUDA 版本差距不超过一个大版本。差距太大就重装 Toolkit。4.3 现象编译时报fatal error: cuda_runtime.h: No such file or directory原因CUDA_HOME没设对或者 pycuda 找不到头文件路径。解决确认echo $CUDA_HOME输出的是实际安装路径然后手动指定export CPATH$CUDA_HOME/include:$CPATH export LIBRARY_PATH$CUDA_HOME/lib64:$LIBRARY_PATH重新pip install pycuda。如果还不行检查是不是装了多个 CUDA 版本nvcc和头文件来自不同版本。4.4 现象多版本 CUDA 切换后之前能跑的代码报链接错误原因LD_LIBRARY_PATH里同时存在多个版本的libcudart.so运行时加载了错误的那一个。解决不要把所有 CUDA 版本的 lib64 都塞进LD_LIBRARY_PATH。只保留当前要用的那个版本切换时改CUDA_HOME和LD_LIBRARY_PATH两个变量。可以用脚本封装use_cuda() { export CUDA_HOME/usr/local/cuda-$1 export PATH$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH$CUDA_HOME/lib64:$LD_LIBRARY_PATH } # 用法use_cuda 12.44.5 现象kernel 第一次运行特别慢后面就快了原因这不是 bug是 CUDA 的惰性初始化。第一次启动 kernel 时驱动要做上下文创建、模块加载、JIT 编译如果是 PTX这些一次性开销可能几百毫秒。解决如果要在性能测试里排除这个影响先跑一次 warm-up再计时。但如果是生产环境这个延迟是真实存在的要考虑预热或者用 AOT 编译好的 cubin 而不是 PTX。5. 进阶技巧用 CUDA Stream 把拷贝和计算重叠起来前面所有例子都是串行的拷贝 → 计算 → 拷贝回来。GPU 在拷贝的时候计算单元是闲着的在计算的时候拷贝引擎是闲着的。CUDA Stream 就是用来让这两件事同时干的。默认情况下所有操作都在 default stream 里天然串行。创建多个 stream把数据分块就能让第 1 块在计算的时候第 2 块在拷贝import pycuda.driver as drv import numpy as np import pycuda.autoinit from pycuda.compiler import SourceModule mod SourceModule( __global__ void vec_add(float *a, float *b, float *c, int n) { int idx threadIdx.x blockIdx.x * blockDim.x; if (idx n) c[idx] a[idx] b[idx]; } ) vec_add mod.get_function(vec_add) N 1 20 chunk N // 4 streams [drv.Stream() for _ in range(4)] a np.random.randn(N).astype(np.float32) b np.random.randn(N).astype(np.float32) c np.zeros_like(a) a_gpu drv.mem_alloc(a.nbytes) b_gpu drv.mem_alloc(b.nbytes) c_gpu drv.mem_alloc(c.nbytes) for i, s in enumerate(streams): offset i * chunk # 每个 stream 负责一块数据的拷贝和计算 drv.memcpy_htod_async(a_gpu offset*4, a[offset:offsetchunk], s) drv.memcpy_htod_async(b_gpu offset*4, b[offset:offsetchunk], s) vec_add(a_gpu, b_gpu, c_gpu, np.int32(chunk), block(256,1,1), grid((chunk255)//256,1,1), streams) drv.memcpy_dtoh_async(c[offset:offsetchunk], c_gpu offset*4, s) for s in streams: s.synchronize() print(np.allclose(c, a b))关键点在于memcpy_htod_async和memcpy_dtoh_async这两个异步拷贝接口以及 kernel 启动时传入streams。这样四个 stream 的操作可以重叠执行。实测在 PCIe 3.0 的机器上分块重叠能把端到端时间压到串行版本的 60% 左右具体取决于计算和拷贝的时间比例。参数上要注意chunk不能太小否则 stream 启动开销会吃掉重叠带来的收益。经验值是每块至少几 MB。另外a_gpu offset*4里的4是float32的字节数换成float64就是8这个偏移量算错会直接写坏显存。验证重叠是否生效可以用drv.Event打时间戳或者用nsysNsight Systems抓 timeline。后者能看到每个 stream 的实际执行区间一眼就能看出有没有重叠。我自己踩过的一个坑是在 WSL2 里跑多 stream重叠效果比原生 Linux 差不少因为 WSL 的 GPU 虚拟化层对异步拷贝的支持有损耗。如果你的场景对延迟敏感尽量在原生 Linux 上跑。这套东西值不值得投入如果你只是偶尔跑个矩阵运算NumPy 加 BLAS 就够了上 CUDA 是杀鸡用牛刀。但如果你要处理的数据量到了单次拷贝就要几百毫秒、或者需要反复迭代调参那 stream 重叠和 pinned memory 带来的收益是实打实的。我一般会先用time.time()把串行版本的时间拆开看拷贝占比超过一半再考虑上 stream否则优先优化 kernel 本身。希望帮到你。本文还有配套的精品资源点击获取 GPU编程实战：Python+CUDA环境搭建与性能优化指南
简介这是一套面向Python开发者与高性能计算初学者的GPU编程实战源码围绕Python与CUDA结合展开帮助读者从零构建基于GPU的深度神经网络并解决数据科学与高性能计算中的实际问题。资源包共52个文件约307KB以43个py脚本为主体辅以4个cu内核文件、1个pdf软硬件清单、1个bat环境启动脚本、1个data数据集、1个txt说明及1张jpg图片覆盖环境搭建、PyCUDA入门、内核调试与性能分析、Scikit-CUDA库调用、深度神经网络实现及CUDA性能优化等环节。目录按章节组织包含Mandelbrot、前缀和、卷积、矩阵乘法、蒙特卡洛积分、动态并行、Thrust与cuBLAS等典型示例便于对照学习内核编写、流与事件、共享内存及原子操作等要点。目前已有272人学习适合希望系统掌握GPU加速与并行计算实践的读者参考。1. 从一份 GPU 编程实战源码说起Python CUDA 到底能跑出什么很多人第一次看到「GPU 编程实战--基于 Python 和 CUDA」这类源码包第一反应是「Python 不是慢吗怎么还能写 CUDA」。这个直觉只对了一半。Python 本身确实不适合做密集计算但它的定位是调度层用 Python 管内存分配、管 kernel 启动、管数据搬运真正吃算力的循环体交给 CUDA C/C 编译出来的 kernel 去跑。这套分工在深度学习框架里已经跑了十几年PyTorch 的底层就是这个模式。这份源码包的价值不在于「教你 Python 语法」而在于把 GPU 编程里最容易翻车的几件事——环境版本对齐、host/device 内存拷贝、线程块尺寸选择、多版本 CUDA 共存——用可运行的例子串起来。适合两类人一是写过 NumPy 但没碰过 GPU 的数据/算法工程师想把手里的矩阵运算搬到显卡上二是刚装完 CUDA、跑通了nvidia-smi却不知道下一步写什么的学生。如果你属于这两类下面这套路径能让你在本地把源码跑起来并且知道每个参数为什么这么设。需要提前说清楚这份源码是「实战」性质不是框架源码它不会帮你封装好一切。你得自己处理编译、链接、路径。这恰恰是它的价值——踩过的坑才是自己的。2. 环境搭建Python、CUDA、编译工具链的版本对齐2.1 先确认显卡驱动能撑到哪个 CUDA 版本装 CUDA 之前不要急着下载安装包先看驱动。驱动版本决定了你能用的 CUDA 上限装超了就是白装。在终端执行nvidia-smi输出右上角会有一行CUDA Version: 12.x这个数字是驱动支持的最高 CUDA 运行时版本不是你已经装的版本。比如显示 12.4意味着你可以装 12.4 及以下的 CUDA Toolkit装 12.6 就可能报CUDA driver version is insufficient。再看一眼显卡型号和计算能力nvidia-smi --query-gpuname,compute_cap --formatcsvcompute_cap就是计算能力Compute Capability比如 8.6、8.9。这个值决定了编译 kernel 时-arch参数怎么填。填低了浪费性能填高了直接编译失败。RTX 30 系是 8.640 系是 8.9这个对应关系要记住。提示如果你用的是 WSL2nvidia-smi在 WSL 里能正常显示但 CUDA Toolkit 要装在 WSL 内部不要试图在 Windows 侧装完让 WSL 共用那是两套东西。2.2 用 conda 隔离 Python 环境别污染系统 Python源码包通常对 Python 版本有要求常见是 3.8 到 3.10。系统自带的 Python 版本往往不对而且直接pip install到系统环境后面想换版本就是一场灾难。用 conda 建独立环境conda create -n gpu_py python3.9 -y conda activate gpu_py为什么选 3.9 而不是最新的 3.12因为 CUDA 相关的 Python 绑定库pycuda、numba、cupy对新版本 Python 的支持往往滞后半年到一年。3.9 是兼容性最稳的区间源码包里如果有requirements.txt大概率也是按这个区间写的。装完 Python 后装基础科学计算栈pip install numpy matplotlib pycudapycuda是这份源码最可能用到的绑定库它让你在 Python 里直接写 CUDA C 代码字符串并编译执行。如果pip install pycuda报编译错误说明缺 CUDA 头文件路径先确认 CUDA Toolkit 装好了再回来装。2.3 CUDA Toolkit 安装与多版本共存Linux 下推荐用 runfile 安装比 apt 可控wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run sudo sh cuda_12.4.0_550.54.14_linux.run安装时取消勾选 Driver因为驱动已经通过系统包管理装好了重复装容易冲突。只勾 CUDA Toolkit 和 Samples。装完后配置环境变量写进~/.bashrcexport CUDA_HOME/usr/local/cuda-12.4 export PATH$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH$CUDA_HOME/lib64:$LD_LIBRARY_PATH注意这里写的是cuda-12.4而不是cuda。/usr/local/cuda通常是个软链接指向当前默认版本。如果你以后要装第二个版本比如 11.8 跑老项目把软链接切来切去很麻烦不如每个版本用绝对路径需要哪个就改CUDA_HOME。验证安装nvcc --version输出里能看到release 12.4就对了。如果提示nvcc: command not found八成是 PATH 没生效source ~/.bashrc再试。注意多版本共存时nvcc的版本和nvidia-smi显示的驱动支持版本是两回事。前者是你编译用的工具链版本后者是驱动能力上限。编译用 12.4驱动支持 12.4运行时才不会报错。3. 跑通第一个 kernel从 Python 字符串到 GPU 执行3.1 用 pycuda 写一个向量加法的最小例子源码包里第一个例子大概率是向量加法因为它是 GPU 编程的「Hello World」。下面这段代码可以直接抄import pycuda.autoinit import pycuda.driver as drv import numpy as np from pycuda.compiler import SourceModule # kernel 源码以字符串形式传入编译发生在运行时 mod SourceModule( __global__ void vec_add(float *a, float *b, float *c, int n) { int idx threadIdx.x blockIdx.x * blockDim.x; if (idx n) { c[idx] a[idx] b[idx]; } } ) vec_add mod.get_function(vec_add) N 1024 a np.random.randn(N).astype(np.float32) b np.random.randn(N).astype(np.float32) c np.zeros_like(a) # block 大小 256grid 大小按 N/256 向上取整 block_size 256 grid_size (N block_size - 1) // block_size vec_add(drv.In(a), drv.In(b), drv.Out(c), np.int32(N), block(block_size, 1, 1), grid(grid_size, 1)) print(np.allclose(c, a b))逻辑说明SourceModule把 CUDA C 代码字符串交给 nvcc 编译成 PTXget_function拿到 kernel 句柄。drv.In和drv.Out是 pycuda 的内存搬运封装In表示 host 到 device 的拷贝Out表示 device 到 host 的回传。block和grid是启动配置决定了开多少个线程。参数说明block_size选 256 是经验值不是随便定的。GPU 的 SM流多处理器以 warp 为单位调度一个 warp 是 32 个线程。block 大小取 32 的整数倍才能避免最后一个 warp 里大量线程闲置。256 在大多数显卡上能占满 SM 的寄存器资源又不至于因为 block 太大导致 occupancy 下降。grid_size用向上取整是因为 N 不一定能被 block_size 整除多出来的线程靠 kernel 里的if (idx n)挡掉。3.2 编译参数怎么调-arch 和 -O3pycuda 默认会用当前显卡的计算能力去编译但有时候你需要手动指定。在SourceModule里加optionsmod SourceModule( __global__ void vec_add(float *a, float *b, float *c, int n) { int idx threadIdx.x blockIdx.x * blockDim.x; if (idx n) c[idx] a[idx] b[idx]; } , options[-archsm_86, -O3])-archsm_86对应计算能力 8.6也就是 RTX 30 系。-O3开最高优化。这两个参数直接影响 kernel 的执行效率默认不开优化的话简单 kernel 可能慢好几倍。怎么查自己的卡该填什么前面compute_cap查到的值去掉小数点前面加sm_。8.6 就是sm_868.9 就是sm_89。填错了编译会报Unsupported gpu architecture。提示如果你不确定目标机器是什么卡可以用-archsm_75这种较通用的值牺牲一点性能换兼容性。但别用sm_35这种太老的新驱动可能已经不支持。3.3 内存拷贝是性能黑匣子什么时候该用 pinned memory上面例子里的drv.In和drv.Out每次调用都会做一次 host 到 device 的拷贝。这个拷贝走的是 PCIe 总线带宽远低于显存内部带宽。如果 kernel 本身计算量很小拷贝时间会占大头这时候 GPU 加速反而比 CPU 还慢。优化手段是用 pinned memory页锁定内存a drv.pagelocked_empty(N, np.float32) b drv.pagelocked_empty(N, np.float32) c drv.pagelocked_empty(N, np.float32) a[:] np.random.randn(N).astype(np.float32) b[:] np.random.randn(N).astype(np.float32) vec_add(a, b, c, np.int32(N), block(256,1,1), grid(grid_size,1))pinned memory 不会被操作系统换出到磁盘GPU 的 DMA 引擎可以直接访问拷贝速度能提升一到两倍。代价是分配和释放更慢而且占用的是不可换页的物理内存分配太多会导致系统内存紧张。所以只对频繁传输的缓冲区用不要所有数组都上 pinned。判断该不该优化的方法很简单用time.time()把拷贝和 kernel 执行分别计时。如果拷贝占了 70% 以上就该考虑 pinned memory 或者减少传输次数比如把多次小传输合并成一次大传输。4. 避坑与排查那些让 kernel 静默失败的细节4.1 现象kernel 跑完结果全错但不报错原因最常见的是 grid 或 block 配置算错导致部分线程没执行或者数组越界写坏了相邻内存。CUDA 的越界写不一定会触发段错误它可能只是悄悄改掉了别的变量。解决在 kernel 里加边界检查if (idx n)并且用cuda-memcheck新版本叫compute-sanitizer跑一遍compute-sanitizer python your_script.py它会告诉你哪个线程越界访问了哪块内存。这个工具是排查 GPU 内存问题的后悔药别等结果错了才想起来用。4.2 现象pycuda._driver.LogicError: cuInit failed: unknown error原因驱动和 CUDA Toolkit 版本不匹配或者 WSL2 里没装对驱动组件。WSL2 的 CUDA 支持需要 Windows 侧装好 WSL 专用驱动Linux 侧再装 Toolkit两边版本要对上。解决先在 WSL 里跑nvidia-smi如果能显示显卡信息说明驱动通了。然后确认nvcc --version和nvidia-smi显示的 CUDA 版本差距不超过一个大版本。差距太大就重装 Toolkit。4.3 现象编译时报fatal error: cuda_runtime.h: No such file or directory原因CUDA_HOME没设对或者 pycuda 找不到头文件路径。解决确认echo $CUDA_HOME输出的是实际安装路径然后手动指定export CPATH$CUDA_HOME/include:$CPATH export LIBRARY_PATH$CUDA_HOME/lib64:$LIBRARY_PATH重新pip install pycuda。如果还不行检查是不是装了多个 CUDA 版本nvcc和头文件来自不同版本。4.4 现象多版本 CUDA 切换后之前能跑的代码报链接错误原因LD_LIBRARY_PATH里同时存在多个版本的libcudart.so运行时加载了错误的那一个。解决不要把所有 CUDA 版本的 lib64 都塞进LD_LIBRARY_PATH。只保留当前要用的那个版本切换时改CUDA_HOME和LD_LIBRARY_PATH两个变量。可以用脚本封装use_cuda() { export CUDA_HOME/usr/local/cuda-$1 export PATH$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH$CUDA_HOME/lib64:$LD_LIBRARY_PATH } # 用法use_cuda 12.44.5 现象kernel 第一次运行特别慢后面就快了原因这不是 bug是 CUDA 的惰性初始化。第一次启动 kernel 时驱动要做上下文创建、模块加载、JIT 编译如果是 PTX这些一次性开销可能几百毫秒。解决如果要在性能测试里排除这个影响先跑一次 warm-up再计时。但如果是生产环境这个延迟是真实存在的要考虑预热或者用 AOT 编译好的 cubin 而不是 PTX。5. 进阶技巧用 CUDA Stream 把拷贝和计算重叠起来前面所有例子都是串行的拷贝 → 计算 → 拷贝回来。GPU 在拷贝的时候计算单元是闲着的在计算的时候拷贝引擎是闲着的。CUDA Stream 就是用来让这两件事同时干的。默认情况下所有操作都在 default stream 里天然串行。创建多个 stream把数据分块就能让第 1 块在计算的时候第 2 块在拷贝import pycuda.driver as drv import numpy as np import pycuda.autoinit from pycuda.compiler import SourceModule mod SourceModule( __global__ void vec_add(float *a, float *b, float *c, int n) { int idx threadIdx.x blockIdx.x * blockDim.x; if (idx n) c[idx] a[idx] b[idx]; } ) vec_add mod.get_function(vec_add) N 1 20 chunk N // 4 streams [drv.Stream() for _ in range(4)] a np.random.randn(N).astype(np.float32) b np.random.randn(N).astype(np.float32) c np.zeros_like(a) a_gpu drv.mem_alloc(a.nbytes) b_gpu drv.mem_alloc(b.nbytes) c_gpu drv.mem_alloc(c.nbytes) for i, s in enumerate(streams): offset i * chunk # 每个 stream 负责一块数据的拷贝和计算 drv.memcpy_htod_async(a_gpu offset*4, a[offset:offsetchunk], s) drv.memcpy_htod_async(b_gpu offset*4, b[offset:offsetchunk], s) vec_add(a_gpu, b_gpu, c_gpu, np.int32(chunk), block(256,1,1), grid((chunk255)//256,1,1), streams) drv.memcpy_dtoh_async(c[offset:offsetchunk], c_gpu offset*4, s) for s in streams: s.synchronize() print(np.allclose(c, a b))关键点在于memcpy_htod_async和memcpy_dtoh_async这两个异步拷贝接口以及 kernel 启动时传入streams。这样四个 stream 的操作可以重叠执行。实测在 PCIe 3.0 的机器上分块重叠能把端到端时间压到串行版本的 60% 左右具体取决于计算和拷贝的时间比例。参数上要注意chunk不能太小否则 stream 启动开销会吃掉重叠带来的收益。经验值是每块至少几 MB。另外a_gpu offset*4里的4是float32的字节数换成float64就是8这个偏移量算错会直接写坏显存。验证重叠是否生效可以用drv.Event打时间戳或者用nsysNsight Systems抓 timeline。后者能看到每个 stream 的实际执行区间一眼就能看出有没有重叠。我自己踩过的一个坑是在 WSL2 里跑多 stream重叠效果比原生 Linux 差不少因为 WSL 的 GPU 虚拟化层对异步拷贝的支持有损耗。如果你的场景对延迟敏感尽量在原生 Linux 上跑。这套东西值不值得投入如果你只是偶尔跑个矩阵运算NumPy 加 BLAS 就够了上 CUDA 是杀鸡用牛刀。但如果你要处理的数据量到了单次拷贝就要几百毫秒、或者需要反复迭代调参那 stream 重叠和 pinned memory 带来的收益是实打实的。我一般会先用time.time()把串行版本的时间拆开看拷贝占比超过一半再考虑上 stream否则优先优化 kernel 本身。希望帮到你。本文还有配套的精品资源点击获取