nuScenes 数据集评测结果中所有变量(指标)的具体含义,这些指标覆盖了目标跟踪、目标检测、运动预测和场景理解等多个核心维度。
一、目标跟踪核心指标(MOTA/MOTP 系列)
这类指标用于评估多目标跟踪(MOT)的效果,是自动驾驶感知评测的核心:
| 指标 | 全称 | 含义(通俗解释) |
|---|---|---|
| MOTA | Multiple Object Tracking Accuracy | 多目标跟踪准确率,衡量跟踪的整体性能(核心指标),值越高越好(范围 0~1)。 计算公式: MOTA = 1 - (FN + FP + IDS) / GT,反映漏检、误检、ID 切换的综合影响。 |
| MOTP | Multiple Object Tracking Precision | 多目标跟踪精度,衡量跟踪框与真实框的匹配精度(值越高,框的位置/大小越准)。 |
| AMOTA | Average MOTA | 不同阈值下 MOTA 的平均值,更全面反映跟踪性能(解决单一阈值的局限性)。 |
| AMOTP | Average MOTP | 不同阈值下 MOTP 的平均值,反映整体匹配精度。 |
| MOTAR | MOT Accuracy Recall | 跟踪召回率,侧重衡量“能跟踪到的目标比例”,值越高,漏跟踪的目标越少。 |
| Recall | 召回率 | 检测/跟踪到的真实目标比例(Recall = TP/(TP+FN)),反映“找全率”。 |
二、跟踪细节指标(跟踪质量的拆解)
这类指标细化了跟踪过程中的具体问题:
| 指标 | 全称 | 含义 |
|---|---|---|
| GT | Ground Truth | 真实标注的目标数量(基准值)。 |
| MT | Mostly Tracked | 被持续跟踪超过 80% 生命周期的目标数(值越高,长时跟踪效果越好)。 |
| ML | Mostly Lost | 被跟踪时间不足 20% 生命周期的目标数(值越高,跟踪丢失越严重)。 |
| FAF | False Alarm per Frame | 每帧的误检数(值越低,误检越少)。 |
| TP | True Positive | 正确检测/跟踪到的目标数(真阳性)。 |
| FP | False Positive | 误检的目标数(假阳性,把背景/其他物体当成目标)。 |
| FN | False Negative | 漏检的目标数(假阴性,没检测到真实存在的目标)。 |
| IDS | ID Switch | 目标 ID 切换次数(跟踪时同一个目标被分配不同 ID,值越高,跟踪稳定性越差)。 |
| FRAG | Fragmentation | 跟踪轨迹断裂次数(同一个目标的轨迹被拆成多段,值越高,轨迹完整性越差)。 |
| TID | Tracking ID Error | ID 切换的加权误差,量化 ID 切换的严重程度。 |
| LGD | Localization Ground Distance | 定位误差,衡量跟踪框与真实框的空间距离误差(值越低,定位越准)。 |
| GT-Mtch | GT Matched | 被匹配到的真实目标数。 |
| GT-Miss | GT Missed | 未被匹配到的真实目标数(漏检)。 |
| Pred-TP | Prediction TP | 预测结果中正确的正例数。 |
| Pred-FP | Prediction FP | 预测结果中错误的正例数。 |
三、目标检测核心指标(检测效果)
这类指标评估目标检测的性能,是感知任务的基础:
| 指标 | 全称 | 含义 |
|---|---|---|
| AP | Average Precision | 平均精度,衡量某一类目标检测的“精度-召回率”曲线下面积(值越高,检测效果越好)。 nuScenes 中还分不同距离(0.5/1.0/2.0/4.0m)的 AP,反映不同距离下的检测能力。 |
| mAP | mean AP | 所有类别 AP 的平均值,综合反映全类别检测性能。 |
| NDS | NuScenes Detection Score | nuScenes 自定义的综合得分(核心指标),融合了 AP、各类误差,值越高越好(范围 0~1)。 |
四、误差类指标(检测/跟踪的精度拆解)
这类指标量化检测框/跟踪框与真实框的偏差,值越低越好:
| 指标 | 全称 | 含义 |
|---|---|---|
| trans_err | Translation Error | 平移误差,检测框中心与真实框中心的空间距离误差(单位:m)。 |
| scale_err | Scale Error | 尺度误差,检测框长宽高与真实框的比例误差(无单位,越接近 0 越准)。 |
| orient_err | Orientation Error | 朝向误差,检测框的朝向与真实框的角度误差(单位:弧度/度)。 |
| vel_err | Velocity Error | 速度误差,检测的目标速度与真实速度的偏差(单位:m/s)。 |
| attr_err | Attribute Error | 属性误差,目标属性(如车辆类型、行人状态)的分类误差(值越低,属性识别越准)。 |
五、运动预测指标(预测目标未来轨迹)
这类指标评估“预测目标未来运动轨迹”的能力,值越低越好:
| 指标 | 全称 | 含义 |
|---|---|---|
| ADE | Average Displacement Error | 平均位移误差,预测轨迹与真实轨迹在所有时间步的平均距离误差。 |
| FDE | Final Displacement Error | 最终位移误差,预测轨迹最后一个时间步与真实轨迹的距离误差(核心)。 |
| min_ade_err | 最小 ADE 误差 | 多个预测轨迹中最优的 ADE(反映最优预测效果)。 |
| min_fde_err | 最小 FDE 误差 | 多个预测轨迹中最优的 FDE。 |
| miss_rate_err | 漏预测率 | 未预测到目标的比例(值越低,预测覆盖度越高)。 |
| ATE | Average Translation Error | 平均平移误差(综合所有类别的 trans_err)。 |
| ASE | Average Scale Error | 平均尺度误差(综合所有类别的 scale_err)。 |
| AOE | Average Orientation Error | 平均朝向误差(综合所有类别的 orient_err)。 |
| AVE | Average Velocity Error | 平均速度误差(综合所有类别的 vel_err)。 |
| AAE | Average Attribute Error | 平均属性误差(综合所有类别的 attr_err)。 |
| mATE/mASE/mAOE/mAVE/mAAE | 各类误差的均值 | 所有类别对应误差的平均值,反映整体预测精度。 |
六、场景理解指标(地图/环境感知)
这类指标评估对道路场景结构的感知效果(IOU 越高越好):
| 指标 | 含义 |
|---|---|
| drivable_iou | 可行驶区域的交并比(衡量可行驶区域分割的准确性)。 |
| lanes_iou | 车道线的交并比(车道线分割精度)。 |
| divider_iou | 道路分隔带的交并比(分隔带分割精度)。 |
| crossing_iou | 人行横道的交并比(人行横道分割精度)。 |
| contour_iou | 道路轮廓的交并比(道路轮廓分割精度)。 |
总结
- 核心评估维度:结果覆盖目标跟踪(MOTA/AMOTA)、目标检测(AP/mAP/NDS)、运动预测(ADE/FDE)、场景理解(各类IOU)四大类,是自动驾驶感知系统的全面评测。
- 关键核心指标:NDS(综合检测/预测性能)、MOTA(跟踪整体效果)、mAP(检测整体效果)是最需关注的核心值,值越高代表性能越好;各类误差指标(trans_err/ADE等)则越低越好。
- 类别差异:car 和 pedestrian 的检测/跟踪效果相对较好(有非零 AP/较低误差),而 trailer、construction_vehicle 等类别效果较差(AP 为 0),说明模型对这些类别感知能力不足。