从零开始学3D检测：PETRV2-BEV模型+NuScenes数据集实战

1. 引言

随着自动驾驶技术的快速发展，基于多视角视觉的3D目标检测成为研究热点。与依赖激光雷达的传统方法不同，纯视觉方案通过多个摄像头获取环境信息，在成本和可扩展性方面具有显著优势。PETRV2-BEV（Bird's Eye View）模型作为当前领先的视觉3D检测框架之一，结合了Transformer架构与位置编码机制，实现了高精度的三维物体感知。

本文将带你从零开始，使用Paddle3D框架在星图AI算力平台上完成PETRV2-BEV模型的训练全流程。我们将以NuScenes v1.0-mini数据集为基础，涵盖环境配置、数据准备、模型训练、性能评估及结果可视化等关键环节，帮助你快速掌握该技术的核心实践技能。

2. 环境准备

2.1 激活Conda环境

首先确保已进入预配置的Paddle3D运行环境：

conda activate paddle3d_env

该环境已集成PaddlePaddle深度学习框架及相关依赖库，支持GPU加速计算。

3. 数据与模型准备

3.1 下载预训练权重

为加快训练收敛速度，我们采用官方提供的预训练模型作为初始化参数：

wget -O /root/workspace/model.pdparams https://paddle3d.bj.bcebos.com/models/petr/petrv2_vovnet_gridmask_p4_800x320/model.pdparams

此权重文件基于完整NuScenes数据集训练得到，适用于BEV空间下的多类别3D目标检测任务。

3.2 获取NuScenes数据集

下载并解压轻量级版本的数据集用于快速验证流程：

wget -O /root/workspace/v1.0-mini.tgz https://www.nuscenes.org/data/v1.0-mini.tgz mkdir -p /root/workspace/nuscenes tar -xf /root/workspace/v1.0-mini.tgz -C /root/workspace/nuscenes

解压后目录结构如下：

/root/workspace/nuscenes/ ├── maps/ ├── samples/ ├── sweeps/ └── v1.0-mini/

4. 数据处理与训练配置

4.1 生成标注信息文件

在正式训练前，需将原始JSON标注转换为模型可读取的Pickle格式：

cd /usr/local/Paddle3D rm /root/workspace/nuscenes/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos.py \ --dataset_root /root/workspace/nuscenes/ \ --save_dir /root/workspace/nuscenes/ \ --mode mini_val

该脚本会生成petr_nuscenes_annotation_train.pkl和petr_nuscenes_annotation_val.pkl两个文件，分别对应训练集与验证集的元数据。

5. 模型评估与训练

5.1 初始精度测试

加载预训练模型对验证集进行推理，查看基线性能：

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/

输出指标如下：

mAP: 0.2669 mATE: 0.7448 mASE: 0.4621 mAOE: 1.4553 mAVE: 0.2500 mAAE: 1.0000 NDS: 0.2878 Eval time: 5.8s

其中NDS（NuScenes Detection Score）是综合评价指标，值越高表示整体检测质量越好。

5.2 启动模型训练

使用以下命令启动微调训练过程：

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

关键参数说明：

--epochs 100：最大训练轮数
--batch_size 2：每卡批量大小（受限于显存）
--learning_rate 1e-4：初始学习率
--do_eval：每个保存周期后执行一次验证

训练过程中最佳模型将自动保存至output/best_model/目录。

6. 训练过程监控

6.1 可视化Loss曲线

利用VisualDL工具实时监控训练状态：

visualdl --logdir ./output/ --host 0.0.0.0

通过浏览器访问指定端口即可查看损失函数、学习率、mAP等指标的变化趋势。

6.2 端口转发设置

若在远程服务器上运行，可通过SSH隧道映射本地端口：

ssh -p 31264 -L 0.0.0.0:8888:localhost:8040 root@gpu-09rxs0pcu2.ssh.gpu.csdn.net

随后在本地打开http://localhost:8888即可查看仪表板。

7. 模型导出与推理部署

7.1 导出静态图模型

训练完成后，将动态图权重导出为可用于推理的格式：

rm -rf /root/workspace/nuscenes_release_model mkdir -p /root/workspace/nuscenes_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/nuscenes_release_model

导出内容包括：

inference.pdmodel：网络结构
inference.pdiparams：模型参数
inference.yml：配置文件

7.2 运行DEMO演示

执行端到端推理并可视化结果：

python tools/demo.py /root/workspace/nuscenes/ /root/workspace/nuscenes_release_model nuscenes

程序将自动加载图像、执行前向传播，并在BEV视图中绘制检测框，便于直观评估模型表现。

8. 扩展训练：XTREME1数据集（可选）

8.1 准备自定义数据集

对于其他兼容NuScenes格式的数据集（如XTREME1），只需调整路径并重新生成标注：

cd /usr/local/Paddle3D rm /root/workspace/xtreme1_nuscenes_data/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos_from_xtreme1.py /root/workspace/xtreme1_nuscenes_data/

8.2 模型训练与评估

沿用相同配置进行迁移训练：

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/xtreme1_nuscenes_data/ \ --epochs 100 \ --batch_size 2 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

评估结果显示当前预训练权重在新域上的泛化能力较弱（NDS: 0.0545），建议进行充分微调或领域适应优化。

8.3 导出与推理

完成训练后同样可导出模型并运行DEMO：

python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/xtreme1_release_model python tools/demo.py /root/workspace/xtreme1_nuscenes_data/ /root/workspace/xtreme1_release_model xtreme1