TensorRT - 命令行程序 - 详解

命令行程序

trtexec

在 samples 目录中包含了一个命令行包装工具 trtexec。trtexec 是一个可以快速使用 TensorRT 的工具，无需自行开发应用。该工具有三个主要用途：

• 网络基准测试：可以用随机或用户提供的输入数据进行网络的性能测试。
• 生成序列化引擎：许可从模型生成序列化的推理引擎。
• 生成序列化的时序缓存：允许从构建器生成序列化的时序缓存。

网络基准测试

如果你有一个以 ONNX 文件保存的模型，可以使用 trtexec 测试该网络在 TensorRT 下推理的性能。trtexec 提供了许多选项用于指定输入/输出、性能计时的迭代次数、允许的精度及其它参数。

为最大化 GPU 利用率，trtexec 会提前一个 batch 排队推理。即：

enqueue batch 0 → enqueue batch 1 → 等待 batch 0 结束 → enqueue batch 2 → 等待 batch 1 完成 → enqueue batch 3 → 等待 batch 2 完成 → enqueue batch 4 → …

如果使用了 跨推理多流（--infStreams=N 参数），trtexec 会在每个流上分别采用上述模式。

trtexec 会打印以下性能指标（如下图所示为使用 Nsight System 进行 trtexec 跑分时各性能指标的标记）：

• 吞吐量（Throughput）：计算方式为推理次数除以主机总时间。如果显著低于 GPU 计算时间的倒数，说明 GPU 可能因主机侧开销或数据传输而未充分利用。使用 CUDA 图（--useCudaGraph）或关闭 H2D/D2H 传输（--noDataTransfer）可能提升 GPU 利用率。日志会提示你使用哪种参数。
• 主机延迟（Host Latency）：为 H2D 延迟、GPU 计算时间和 D2H 延迟的总和，即单次推理的总延迟。
• 排队时间（Enqueue Time）：主机侧排队一次推理的延迟，包括调用 H2D/D2H CUDA API、主机侧算法和 CUDA 内核启动。如果该值高于 GPU 计算时间，则说明 GPU 未被充分利用，吞吐量受主机侧开销影响。可用 --useCudaGraph 减少排队时间。
• H2D 延迟：主机到设备的数据传输延迟，可用 --noDataTransfer 关闭传输。
• D2H 延迟：设备到主机的数据传输延迟，可用 --noDataTransfer 关闭传输。
• GPU 计算时间：一次推理在 GPU 上执行 CUDA 内核的延迟。
• 主机总耗时（Total Host Walltime）：从第一个推理（热身后）排队到末了一个推理完成的主机耗时。
• GPU 总计算时间（Total GPU Compute Time）：所有推理的 GPU 计算时间总和。如果显著小于主机总耗时，说明 GPU 利用率低，可能受主机侧开销或数据传输影响。

注意

在最新版 Nsight Systems 中，GPU 行在 CPU 行之上而不是之下。

添加 --dumpProfile 参数可显示每层的性能分析，帮助定位网络中哪些层耗时最多。该功能也支持 CUDA 图模式。使用 --profilingVerbosity=detailed 构建引擎并加上 --dumpLayerInfo 可显示详细的引擎信息，包括每层细节和绑定信息，便于了解每层对应的操作及参数。

序列化引擎生成

生成的序列化引擎文件可用于其他推理应用，例如NVIDIA Triton Inference Server 可以在多线程多上下文下异步执行推理以测试并行性能。需要注意，如在 INT8 模式下，trtexec 会为张量设置随机动态范围，除非通过 --calib=<file> 提供校准缓存文件，否则结果准确率可能异常。

序列化时序缓存生成

为 --timingCacheFile 选项提供时序缓存文件，构建器可从中加载已有的性能数据，并在层级分析时添加新数据。该缓存文件可在其他构建器实例中复用以缩短执行时间。建议仅在相同硬件/软件配置下复用，否则可能出现功能或性能问题。

常用命令行参数

构建阶段参数

参数	说明
--allowGPUFallback	允许 DLA 不支持的层在 GPU 上运行。
--allowWeightStreaming	启用权重流式引擎，需与 --stronglyTyped 一起用。TensorRT 会自动选择合适的权重流预算，也可用 --weightStreamingBudget 指定。
--builderOptimizationLevel=N	设置构建优化等级，等级越高优化越多但构建耗时越长。
--dumpLayerInfo, --exportLayerInfo=<file>	打印并保存引擎层信息。
--dynamicPlugins=<file>	动态加载插件库，并在 --setPluginsToSerialize 时序列化到引擎（可多次指定）。
--excludeLeanRuntime	当启用 --versionCompatible 时，表示生成的引擎不包含精简运行时。需在加载引擎时显式指定有效的精简运行时，仅支持显式 batch 和权重。
--fp16, --bf16, --int8, --fp8, --noTF32, --best	指定网络级别精度。
--layerDeviceTypes=spec	显式设置每层设备类型为 GPU 或 DLA。后面指定的覆盖前面的。
--layerOutputTypes=spec	控制每层输出类型（需设置 precisionConstraints 为 obey 或 prefer）。可用“*”指定默认精度。多输出的层可用“+”分隔。例如：--layerOutputTypes=*:fp16,layer_1:fp32+fp16。
--layerPrecisions=spec	控制每层精度（需设置 precisionConstraints 为 obey 或 prefer）。例如：--layerPrecisions=*:fp16,layer_1:fp32。
--markDebug	指定要作为调试张量的张量名（逗号分隔）。
--markUnfusedTensorsAsDebugTensors	标记未融合张量为调试张量。
--maxAuxStreams=N	设置每个推理流最大辅助流数量，可并行运行内核但增加内存消耗，设为 0 可优化内存。详见多流并行。
--memPoolSize=<pool_spec>	指定工作区策略最大大小及 DLA 每个负载分配的内存池大小。支持 workspace, dlaSRAM, dlaLocalDRAM, dlaGlobalDRAM, tacticSharedMem。
--minShapes=<shapes>, --optShapes=<shapes>, --maxShapes=<shapes>	指定构建引擎时输入形状范围（ONNX 模型必需）。
--noCompilationCache	禁用构建器中的编译缓存（默认启用）。
--onnx=<model>	指定输入 ONNX 模型。如为 ONNX 格式需用 --minShapes, --optShapes, --maxShapes 控制形状范围。
--precisionConstraints=spec	控制精度约束设置。none：无约束；prefer：尽量满足约束；obey：必须满足约束否则失败。
`–profilingVerbosity=[layer_names_only	detailed
--saveEngine=<file>	指定引擎保存路径。
--setPluginsToSerialize=<file>	设置要与引擎一起序列化的插件库（可多次指定）。
--skipInference	仅构建并保存引擎，不运行推理。
`–sparsity=[disable	enable
--stripWeights	从计划中去除权重。可与 refit 或 refit with identical weights 一起用。
--stronglyTyped	创建强类型网络。
--tempdir=<dir>	指定 TensorRT 创建临时文件的目录。详见 IRuntime::setTemporaryDirectory。
--tempfileControls=controls	控制 TensorRT 创建临时可执行文件的方式，格式为 `[in_memory
--timingCacheFile=<file>	指定加载和保存的时序缓存。
--useDLACore=N	使用指定 DLA 核心运行支持的层。
--verbose	开启详细日志。
--versionCompatible, --vc	启用版本兼容模式。用该模式生成的引擎可在同一主机操作系统的更新版 TensorRT 下兼容运行，仅支撑显式 batch 模式。

推理阶段参数

参数	说明
--allocationStrategy	指定推理时内存分配策略，可选 static（预分配全部）、profile（按 profile 分配）、runtime（按实际输入分配，需加 --preview=+runtimeActivationResize）。
--asyncFileReader=<file>	使用异步流读取器加载序列化引擎。采用 IStreamReaderV2 接口。
--dumpLayerInfo, --exportLayerInfo=<file>	打印引擎层信息。
--dumpProfile, --exportProfile=<file>	打印并保存每层性能分析。
--dynamicPlugins=<file>	推理时动态加载未囊括在引擎计划中的插件库（可多次指定）。
--getPlanVersionOnly	仅打印加载计划创建时的 TensorRT 版本（不反序列化计划，仅承受 8.6 及以上版本创建的引擎）。
--infStreams=<N>	多流并行运行推理，详见多流并行。
--leanDLLPath=<file>	版本兼容模式下启用外部精简运行时 DLL，需 `–useRuntime=[lean
--loadEngine=<file>	从序列化计划文件加载引擎而非从 ONNX 构建。
--loadInputs=<specs>	从文件加载输入值，默认生成随机输入。
--noDataTransfers	关闭主机到设备和设备到主机的数据传输。
`–profilingVerbosity=[layer_names_only	detailed
--saveDebugTensors	指定张量名开启调试状态，并指定输出文件名保存原始输出。这些张量需在构建时指定为调试张量。
--saveAllDebugTensors	保存所有调试张量到文件（包括用 --markDebug 和 --markUnfusedTensorsAsDebugTensors 标记的张量），支持多种格式：summary、NumPy、string、raw。
--shapes=<shapes>	指定推理时输入形状。如为 ONNX 模型或显式 batch 构建的引擎，用该参数指定。
--warmUp=<ms>, --duration=<s>, --iterations=<N>	指定热身运行最小时长、推理运行最小时长和最小迭代次数。例如，--warmUp=0 --duration=0 --iterations=N 可精确控制推理迭代次数。
--weightStreamingBudget	手动设置权重流预算。支持 B（字节）、G（GiB）、K（KiB）、M（MiB）等单位。若权重无法全部加载，设为 0 会选择最小预算，-1 禁用权重流。
--useCudaGraph	用 CUDA 图捕获并运行推理。若引擎包括不承受 CUDA 图捕获的操作则忽略此参数。
`–useRuntime=[full	lean
--useSpinWait	主动同步 GPU 事件，使延迟测量更稳定但提高 CPU 用量和功耗。
--verbose	开启详细日志。

更多参数及详细说明可参考 trtexec --help。

详细构建和用法示例请参见GitHub: trtexec/README.md。

原文地址：https://docs.nvidia.com/deeplearning/tensorrt/latest/reference/command-line-programs.html