PETRV2-BEV模型入门教程：首次训练步骤

1. 引言

随着自动驾驶技术的快速发展，基于视觉的三维目标检测方法逐渐成为研究热点。PETR系列模型通过将相机视角（perspective view）特征与空间位置编码结合，在鸟瞰图（BEV）空间中实现高精度3D目标检测，其中PETRV2-BEV是当前性能优异的代表之一。

本教程面向初次接触PETRV2-BEV模型的开发者，提供从环境配置到完整训练流程的手把手实践指南。我们将使用Paddle3D框架，在NuScenes数据集上完成模型加载、评估、训练、可视化及模型导出全过程，并可选扩展至xtreme1数据集训练。所有操作均基于星图AI算力平台进行优化适配，确保开箱即用。

2. 准备环境

2.1 进入paddle3d_env conda环境

在开始训练前，首先需要激活已预装Paddle3D依赖的conda环境：

conda activate paddle3d_env

该环境包含PaddlePaddle深度学习框架、Paddle3D库以及必要的第三方依赖（如OpenCV、NumPy、PyYAML等），确保后续命令可直接运行。

提示：若未找到paddle3d_env，请检查是否已完成平台镜像初始化或参考官方文档重新创建环境。

3. 下载依赖

3.1 下载预训练权重

为加速训练过程并提升收敛效果，我们采用官方提供的在完整NuScenes数据集上预训练的模型参数：

wget -O /root/workspace/model.pdparams https://paddle3d.bj.bcebos.com/models/petr/petrv2_vovnet_gridmask_p4_800x320/model.pdparams

此权重文件基于VoVNet主干网络和GridMask增强策略训练得到，适用于800×320输入分辨率下的BEV感知任务。

3.2 下载nuscenes v1.0-mini数据集

为了快速验证流程，先使用轻量级的v1.0-mini子集进行测试：

wget -O /root/workspace/v1.0-mini.tgz https://www.nuscenes.org/data/v1.0-mini.tgz mkdir -p /root/workspace/nuscenes tar -xf /root/workspace/v1.0-mini.tgz -C /root/workspace/nuscenes

解压后目录结构应如下：

/root/workspace/nuscenes/ ├── maps/ ├── samples/ ├── sweeps/ └── v1.0-mini/

注意：实际项目中建议挂载完整数据集以获得可靠指标；mini版本仅用于调试流程。

4. 训练nuscenes v1.0-mini数据集

4.1 准备数据集

PETRV2需要特定格式的标注信息（info文件）。执行以下脚本生成所需.pkl文件：

cd /usr/local/Paddle3D rm /root/workspace/nuscenes/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos.py --dataset_root /root/workspace/nuscenes/ --save_dir /root/workspace/nuscenes/ --mode mini_val

该命令会生成两个关键文件：

• petr_nuscenes_annotation_train.pkl：训练集标注
• petr_nuscenes_annotation_val.pkl：验证集标注

--mode mini_val表示仅对mini版本中的验证集样本进行处理，符合标准评估协议。

4.2 测试精度

在训练前，先加载预训练模型对mini数据集进行推理评估，确认环境正常：

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/

输出结果示例：

mAP: 0.2669 mATE: 0.7448 mASE: 0.4621 mAOE: 1.4553 mAVE: 0.2500 mAAE: 1.0000 NDS: 0.2878 Eval time: 5.8s Per-class results: Object Class AP ATE ASE AOE AVE AAE car 0.446 0.626 0.168 1.735 0.000 1.000 truck 0.381 0.500 0.199 1.113 0.000 1.000 bus 0.407 0.659 0.064 2.719 0.000 1.000 trailer 0.000 1.000 1.000 1.000 1.000 1.000 construction_vehicle 0.000 1.000 1.000 1.000 1.000 1.000 pedestrian 0.378 0.737 0.263 1.259 0.000 1.000 motorcycle 0.356 0.748 0.314 1.410 0.000 1.000 bicycle 0.063 0.760 0.236 1.862 0.000 1.000 traffic_cone 0.637 0.418 0.377 nan nan nan barrier 0.000 1.000 1.000 1.000 nan nan

解读：虽然mAP仅为0.267，但受限于mini数据集规模小（仅6个场景），此结果仍表明模型具备基本检测能力。

4.3 开始训练

使用以下命令启动微调训练，共100轮，每5轮保存一次模型并评估性能：

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

参数说明：

训练过程中日志将输出至控制台，并记录于output/目录下供VisualDL读取。

4.4 可视化训练曲线

启动VisualDL服务以实时监控Loss和评估指标变化趋势：

visualdl --logdir ./output/ --host 0.0.0.0

4.5 配置远程端口转发

若在远程服务器运行，可通过SSH隧道将本地8888端口映射到服务器8040端口（默认VisualDL端口）：

ssh -p 31264 -L 0.0.0.0:8888:localhost:8040 root@gpu-09rxs0pcu2.ssh.gpu.csdn.net

随后在浏览器访问http://localhost:8888即可查看动态训练曲线。

4.6 查看Loss曲线

在VisualDL界面中，可观察以下关键指标：

• total_loss：总损失值
• cls_loss：分类损失
• reg_loss：回归损失
• mAP,NDS：验证集性能指标

建议关注前20个epoch内loss是否稳定下降，避免出现震荡或不收敛现象。

4.7 导出PaddleInfer模型

训练完成后，将最优模型导出为静态图格式，便于部署推理：

rm -rf /root/workspace/nuscenes_release_model mkdir -p /root/workspace/nuscenes_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/nuscenes_release_model

导出成功后，nuscenes_release_model目录将包含：

• model.pdmodel：网络结构
• model.pdiparams：模型权重
• deploy.yaml：部署配置文件

4.8 运行DEMO演示结果

最后，通过demo脚本加载模型并对数据集图像进行可视化预测：

python tools/demo.py /root/workspace/nuscenes/ /root/workspace/nuscenes_release_model nuscenes

程序将在output/demo/目录下生成带3D框标注的图片和视频，直观展示检测效果。

5. 训练xtreme1数据集[可选]

若需迁移至其他数据集（如xtreme1），可按以下流程操作。

5.1 准备数据集

假设xtreme1数据已存放于指定路径，生成适配PETRV2的info文件：

cd /usr/local/Paddle3D rm /root/workspace/xtreme1_nuscenes_data/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos_from_xtreme1.py /root/workspace/xtreme1_nuscenes_data/

该脚本自动转换xtreme1的数据结构为NuScenes兼容格式。

5.2 测试精度

加载相同预训练模型进行零样本推理：

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/xtreme1_nuscenes_data/

输出结果示例：

mAP: 0.0000 mATE: 1.0703 mASE: 0.8296 mAOE: 1.0807 mAVE: 0.6250 mAAE: 1.0000 NDS: 0.0545 Eval time: 0.5s Per-class results: Object Class AP ATE ASE AOE AVE AAE car 0.000 1.308 0.232 2.074 0.000 1.000 ...

分析：AP全为0，说明预训练模型无法泛化至新域，必须重新训练。

5.3 开始训练

启动针对xtreme1的训练任务：

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/xtreme1_nuscenes_data/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

建议：可根据实际显存调整batch_size，或启用梯度累积提升稳定性。

5.4 导出PaddleInfer模型

训练结束后导出模型用于部署：

rm -rf /root/workspace/xtreme1_release_model mkdir /root/workspace/xtreme1_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/xtreme1_release_model

5.5 运行DEMO查看结果

执行可视化脚本验证检测效果：

python tools/demo.py /root/workspace/xtreme1_nuscenes_data/ /root/workspace/xtreme1_release_model xtreme1

生成结果位于output/demo/，可用于进一步分析模型表现。

6. 总结

本文详细介绍了如何在星图AI算力平台上完成PETRV2-BEV模型的首次训练全流程，涵盖环境准备、数据下载、模型评估、训练执行、可视化监控与最终部署导出。主要收获包括：

1. 快速验证流程：利用v1.0-mini数据集可在短时间内走通整个Pipeline。
2. 高效微调策略：基于预训练权重进行fine-tuning显著降低训练成本。
3. 灵活扩展能力：支持迁移到xtreme1等私有或定制化数据集。
4. 端到端部署支持：通过PaddleInference导出实现工业级部署准备。

最佳实践建议：

• 在正式训练前务必验证数据路径与info文件正确性；
• 使用VisualDL持续监控训练状态，及时发现过拟合或梯度异常；
• 对于大规模数据集，建议启用分布式训练（multi-GPU）提升效率。

掌握上述步骤后，开发者可进一步尝试修改模型结构、调整超参数或集成更多传感器模态，构建更强大的BEV感知系统。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。