一、前言：为什么需要动态Shape？

你复习的TensorRT课程里讲动态Shape，核心解决的是「模型推理时输入尺寸不固定」的问题：

• 静态Shape：模型编译后输入尺寸固定（比如只能处理3x3的图片），要换尺寸就得重新编译，像“只能生产固定尺寸产品的流水线”；
• 动态Shape：编译时指定尺寸范围（比如3x3~5x5），推理时可在范围内任意换尺寸，像“可调节的流水线，能适配不同尺寸原料”；
  全卷积网络（比如图像分割、目标检测）特别需要这个功能——推理时输入图片的宽高不用固定死。

二、核心概念：动态Shape是什么？

动态Shape的本质是：模型编译时指定输入维度的「合法范围」[最小-最大]，推理时可在范围内任意设置具体值。
笔记里的定义很直白：推理时可以允许 L<=shape<=H（L是最小尺寸，H是最大尺寸）。

三、案例代码拆解：动态Shape的实现步骤

笔记里的代码分「模型构建（build_model）」和「模型推理（inference）」两大核心部分，我们逐段拆解，重点讲动态Shape的关键操作。

先看代码整体逻辑

整个流程是：

定义网络结构（卷积+ReLU）→ 配置动态Shape范围 → 编译生成engine文件 → 加载engine → 设置推理时的具体Shape → 执行推理 → 输出结果

3.1 辅助函数：基础工具（不用纠结，重点看核心逻辑）

// 日志类：打印TensorRT的日志信息classTRTLogger:publicnvinfer1::ILogger{public:virtualvoidlog(Severity severity,nvinfer1::AsciiCharconst*msg)noexceptoverride{if(severity<=Severity::kINFO){// 只打印INFO及以下级别日志printf("%d: %s\n",severity,msg);}}}logger;// 封装权重：把float数组转成TensorRT的Weights格式nvinfer1::Weightsmake_weights(float*ptr,intn){nvinfer1::Weights w;w.count=n;// 权重数量w.type=nvinfer1::DataType::kFLOAT;// 数据类型w.values=ptr;// 权重数据指针returnw;}// 加载文件：把engine文件读成二进制数组（用于反序列化）vector<unsignedchar>load_file(conststring&file){ifstreamin(file,ios::in|ios::binary);if(!in.is_open())return{};in.seekg(0,ios::end);size_t length=in.tellg();std::vector<uint8_t>data;if(length>0){in.seekg(0,ios::beg);data.resize(length);in.read((char*)&data[0],length);}in.close();returndata;}

3.2 核心1：模型构建（build_model）—— 动态Shape的关键配置

这部分是动态Shape的核心，重点是「定义动态维度」和「配置Optimization Profile」。

boolbuild_model(){TRTLogger logger;// 1. 创建基础组件：builder（构建器）、config（配置）、network（网络）nvinfer1::IBuilder*builder=nvinfer1::createInferBuilder(logger);nvinfer1::IBuilderConfig*config=builder->createBuilderConfig();nvinfer1::INetworkDefinition*network=builder->createNetworkV2(1);// 1表示启用动态Shape// 2. 定义网络结构：卷积(3x3, pad=1) + ReLUconstintnum_input=1;// 输入通道数（固定）constintnum_output=1;// 输出通道数（固定）// 卷积核权重（3x3，行优先）floatlayer1_weight_values[]={1.0,2.0,3.1,0.1,0.1,0.1,0.2,0.2,0.2};floatlayer1_bias_values[]={0.0};// 偏置// -------------------------- 动态Shape关键1：定义动态维度 --------------------------// Dims4(-1, num_input, -1, -1)：四个维度分别是batch、通道、高、宽// -1 表示该维度是动态的（通道数固定为1，所以写num_input）nvinfer1::ITensor*input=network->addInput("image",nvinfer1::DataType::kFLOAT,nvinfer1::Dims4(-1,num_input,-1,-1));// 构建卷积层nvinfer1::Weights layer1_weight=make_weights(layer1_weight_values,9);nvinfer1::Weights layer1_bias=make_weights(layer1_bias_values,1);autolayer1=network->addConvolution(*input,num_output,nvinfer1::DimsHW(3,3),layer1_weight,layer1_bias);layer1->setPadding(nvinfer1::DimsHW(1,1));// 卷积padding=1，保证输入输出尺寸一致// 构建ReLU激活层autoprob=network->addActivation(*layer1->getOutput(0),nvinfer1::ActivationType::kRELU);network->markOutput(*prob->getOutput(0));// 标记输出// 配置工作空间：TensorRT需要的临时内存（1<<28=256MB）config->setMaxWorkspaceSize(1<<28);// -------------------------- 动态Shape关键2：配置Optimization Profile --------------------------// Profile是“尺寸配置文件”，定义动态维度的最小/最优/最大范围autoprofile=builder->createOptimizationProfile();// 设置输入"image"的尺寸范围：// kMIN：最小允许尺寸（1,1,3,3）→ batch=1，通道=1，高=3，宽=3profile->setDimensions(input->getName(),nvinfer1::OptProfileSelector::kMIN,nvinfer1::Dims4(1,num_input,3,3));// kOPT：最优尺寸（推理时优先用这个尺寸，性能最好）profile->setDimensions(input->getName(),nvinfer1::OptProfileSelector::kOPT,nvinfer1::Dims4(1,num_input,3,3));// kMAX：最大允许尺寸（10,1,5,5）→ batch最大10，高宽最大5profile->setDimensions(input->getName(),nvinfer1::OptProfileSelector::kMAX,nvinfer1::Dims4(10,num_input,5,5));// 把profile添加到配置中（没有这步，动态Shape不生效）config->addOptimizationProfile(profile);// 编译生成engine（核心产物，包含模型的推理逻辑）nvinfer1::ICudaEngine*engine=builder->buildEngineWithConfig(*network,*config);if(engine==nullptr){printf("Build engine failed.\n");returnfalse;}// 序列化engine：把engine转成二进制文件保存（方便后续加载）nvinfer1::IHostMemory*model_data=engine->serialize();FILE*f=fopen("engine.trtmodel","wb");fwrite(model_data->data(),1,model_data->size(),f);fclose(f);// 释放资源（倒序释放）model_data->destroy();engine->destroy();network->destroy();config->destroy();builder->destroy();printf("Done.\n");returntrue;}

动态Shape关键1：定义动态维度（-1的含义）

nvinfer1::ITensor*input=network->addInput("image",...,nvinfer1::Dims4(-1,num_input,-1,-1));

• Dims4(batch, channel, height, width)：TensorRT中输入维度默认是「NCHW」格式；
• -1：标记该维度为「动态维度」，推理时可在profile的范围里改；
• 注意：如果维度不是-1（比如channel=1），则min/opt/max必须和这个值一致，不能改。

动态Shape关键2：配置Profile（尺寸范围）

Profile是动态Shape的「规则手册」，告诉TensorRT：

• kMIN：输入尺寸不能小于这个值（比如不能处理2x2的图片）；
• kMAX：输入尺寸不能大于这个值（比如不能处理6x6的图片）；
• kOPT：TensorRT优化时优先针对这个尺寸做性能优化；
  👉 笔记里的重点：不要被“Optimization”迷惑，Profile的核心是“指定尺寸范围”，不是“优化性能”。

3.3 核心2：模型推理（inference）—— 动态Shape的使用

推理阶段的关键是「设置本次推理的具体尺寸」，代码如下：

voidinference(){// 1. 加载engine文件并反序列化TRTLogger logger;autoengine_data=load_file("engine.trtmodel");nvinfer1::IRuntime*runtime=nvinfer1::createInferRuntime(logger);nvinfer1::ICudaEngine*engine=runtime->deserializeCudaEngine(engine_data.data(),engine_data.size());if(engine==nullptr){printf("Deserialize cuda engine failed.\n");runtime->destroy();return;}// 创建执行上下文（每个推理可以有独立的上下文，支持并行推理）nvinfer1::IExecutionContext*execution_context=engine->createExecutionContext();cudaStream_t stream=nullptr;cudaStreamCreate(&stream);// 创建CUDA流（异步推理用）// 2. 准备输入输出数据// 输入数据：2个batch，每个batch是3x3的矩阵floatinput_data_host[]={// batch 0（全1矩阵）1,1,1,1,1,1,1,1,1,// batch 1（混合正负值）-1,1,1,1,0,1,1,1,-1};float*input_data_device=nullptr;float*output_data_device=nullptr;// 分配GPU内存cudaMalloc(&input_data_device,sizeof(input_data_host));cudaMalloc(&output_data_device,sizeof(input_data_host));// 输出尺寸和输入一致（卷积padding=1）// 把主机数据拷贝到GPUcudaMemcpyAsync(input_data_device,input_data_host,sizeof(input_data_host),cudaMemcpyHostToDevice,stream);// -------------------------- 动态Shape关键3：设置本次推理的具体尺寸 --------------------------intib=2;// batch=2intiw=3;// 宽=3intih=3;// 高=3// 设置绑定维度：第0个绑定点（输入）的尺寸为(2,1,3,3)execution_context->setBindingDimensions(0,nvinfer1::Dims4(ib,1,ih,iw));// 3. 执行推理float*bindings[]={input_data_device,output_data_device};// 绑定输入输出的GPU指针// enqueueV2：异步推理（用CUDA流）boolsuccess=execution_context->enqueueV2((void**)bindings,stream,nullptr);// 把GPU输出拷贝回主机floatoutput_data_host[ib*iw*ih];cudaMemcpyAsync(output_data_host,output_data_device,sizeof(output_data_host),cudaMemcpyDeviceToHost,stream);cudaStreamSynchronize(stream);// 等待流执行完成// 4. 打印输出结果for(intb=0;b<ib;++b){printf("batch %d. output_data_host = \n",b);for(inti=0;i<iw*ih;++i){printf("%f, ",output_data_host[b*iw*ih+i]);if((i+1)%iw==0)printf("\n");}}// 释放资源cudaStreamDestroy(stream);cudaFree(input_data_device);cudaFree(output_data_device);execution_context->destroy();engine->destroy();runtime->destroy();}

动态Shape关键3：推理时设置具体尺寸

execution_context->setBindingDimensions(0,nvinfer1::Dims4(ib,1,ih,iw));

• 0：输入的「绑定索引」（因为模型只有一个输入，所以是0）；
• Dims4(2,1,3,3)：本次推理用的具体尺寸（batch=2，通道=1，高=3，宽=3）；
• 注意：这个尺寸必须在profile的min~max范围内（比如不能设成batch=11，或高=6），否则推理会失败。

3.4 主函数：串联构建和推理

intmain(){if(!build_model()){// 先构建模型生成engine文件return-1;}inference();// 再执行推理return0;}

四、补充知识：静态Batch vs 动态Batch

笔记里重点提了“大部分时候只考虑batch维度的动态”，我们用表格对比：

五、关键避坑点（笔记里的重点）

1. Reshape层的坑：如果模型里有Reshape操作，Reshape的参数必须「动态计算」（比如基于输入尺寸），否则动态Shape会失效；除非是全卷积模型，否则尽量只把batch设为动态，宽高固定。
2. ONNX动态维度：如果从ONNX导入模型，ONNX里的动态维度也要标为-1，否则TensorRT里设-1也没用。
3. 维度一致性：非动态维度（比如通道）的min/opt/max必须和网络定义的维度一致，否则编译失败。
4. 正确性校验：可以用PyTorch跑相同的模型，对比输出结果（笔记里的图1-1和1-2），确保TensorRT的动态Shape推理正确。

六、总结：动态Shape核心要点

1. 定义阶段：网络输入维度用-1标记动态维度（通常只标batch），配置Profile指定min/opt/max范围；
2. 推理阶段：每次推理前用setBindingDimensions设置具体的输入尺寸（必须在Profile范围内）；
3. 适用场景：静态Batch适合离线批量处理，动态Batch适合服务端不均匀请求；
4. 核心本质：动态Shape是TensorRT为“可变输入尺寸”设计的适配机制，核心是「提前约定范围，推理时指定具体值」。

吃透这些知识点，你就能在TensorRT中灵活处理不同尺寸的输入，满足高性能部署中“灵活推理”的需求。