Ubuntu 22.04 LTS、Cuda 12.3、Tensorrt 8.6.1、Python 3.10、A10G GPU

要在 Ubuntu 22.04 LTS 上使用 TensorRT 将模型转换为 TensorRT 格式，您需要安装一些必要的环境和依赖项。以下是详细的步骤：

1. 更新系统：

   sudo apt update
   sudo apt upgrade
   

2. 安装 CUDA 12.3：

   • 前往 NVIDIA CUDA Toolkit 下载适用于 Ubuntu 22.04 的 CUDA 12.3 安装包。
   • 按照 NVIDIA 官方文档中的步骤安装 CUDA 12.3。

   确保 CUDA 已正确安装：

   nvcc --version
   

3. 安装 cuDNN：

   • 前往 NVIDIA cuDNN 下载与 CUDA 12.3 兼容的 cuDNN。
   • 解压并安装 cuDNN：

     tar -xzvf cudnn-*-linux-x64-v*.tgz
     sudo cp cuda/include/cudnn*.h /usr/local/cuda/include
     sudo cp -P cuda/lib64/libcudnn* /usr/local/cuda/lib64
     sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
     

4. 安装 TensorRT 8.6.1：

   • 前往 NVIDIA TensorRT 下载 TensorRT 8.6.1。
   • 解压 TensorRT 安装包：

     tar -xzvf TensorRT-8.6.1.0.Ubuntu-20.04.x86_64-gnu.cuda-12.3.cudnn8.6.tar.gz
     

   • 将库文件复制到适当的位置：

     cd TensorRT-8.6.1.0
     sudo cp -r include/* /usr/local/include/
     sudo cp -r lib/* /usr/local/lib/
     sudo cp -r bin/* /usr/local/bin/
     sudo ldconfig
     

5. 安装 Python 3.10：

   • Ubuntu 22.04 默认已包含 Python 3.10，但如果没有，可以通过以下命令安装：

     sudo apt install python3.10 python3.10-dev python3.10-venv
     

6. 安装 Python 包管理工具：

   sudo apt install python3-pip
   

7. 设置 Python 虚拟环境：

   python3.10 -m venv trt_env
   source trt_env/bin/activate
   

8. 安装 TensorRT Python 库：

   • 安装依赖项：

     pip install numpy
     

   • 从 TensorRT 的 Python 目录中安装 Python 库：

     cd TensorRT-8.6.1.0/python
     pip install tensorrt-8.6.1-cp310-none-linux_x86_64.whl
     

9. 安装 PyCUDA（可选，用于 CUDA 操作）：

   pip install pycuda
   

10. 验证安装：

    import tensorrt as trt
    print(trt.__version__)
    

如果以上步骤均成功完成，您应该可以在 Ubuntu 22.04 上使用 TensorRT 将模型转换为 TensorRT 格式并运行推理任务。