1. Python 安装 ONNX Runtime
安装cpu版的 onnx runtime:
pip install onnxruntime
安装gpu版的 onnx runtime(cuda 11.x):(默认安装适用于cuda 11.8 的onnx runtime)
pip install onnxruntime-gpu
安装gpu版的 onnx runtime(cuda 12.x):
pip install onnxruntime-gpu --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/