简介这份资源是面向深度学习目标检测方向的无人机识别数据集适合正在做无人机检测项目、课程设计或算法对比实验的开发者与研究者使用可服务于YOLO系列、Faster R-CNN、SSD等主流检测模型的训练与验证。压缩包内共2000个文件以1999个txt标签文件和1个yaml类别配置文件为主txt对应每张图片的目标框标注yaml用于指定类别信息整体约814.16MB图片数量达9229张并已按训练集、验证集、测试集完成划分同时提供VOC格式的xml标签方便不同框架直接读取。目前已有340人学习关注。数据集覆盖无人机这一类目标可直接接入YOLOv5至YOLOv10等版本开展训练省去自行标注与划分数据的时间便于快速复现检测流程、对比不同模型精度也为调参和排错提供稳定的数据基础。1. 无人机识别数据集与目标检测从“看不见的鸟”到“飞行的铁块”到底差在哪你手里有一批航拍图想训练一个模型把无人机从天空里框出来。听起来跟训练一个鸟类目标检测器没什么区别但真跑起来你会发现模型能把麻雀框得死死的却对着一架四旋翼视而不见。问题不在网络结构而在数据集本身——无人机识别数据集在目标尺度、背景复杂度、标注粒度上和常规目标检测数据集有本质差异。这个方向适合两类人一是做低空安防、机场净空、敏感区域巡检的算法工程师需要快速验证一个可用的检测基线二是手里已经有遥感目标检测或鸟类目标检测经验想迁移到无人机场景的研究者。核心诉求很直接数据从哪来、怎么标、怎么训、怎么评估以及最关键的——怎么避免训出一个“只认特定机型、换个背景就翻车”的模型。2. 无人机识别数据集从采集到标注的完整链路2.1 为什么通用目标检测数据集在无人机场景下不够用COCO 里不是没有“飞机”这个类但那是客机、战斗机尺寸大、背景干净、姿态单一。无人机在图像里的像素面积可能只有 20×20背景可能是树冠、楼顶、云层甚至和飞鸟在视觉上高度混淆。更麻烦的是无人机目标检测的难点不在“检测”本身而在“区分”——区分无人机和鸟、区分无人机和远处飘的塑料袋、区分不同机型。我一般会把无人机识别数据集的构建拆成三个维度来评估维度通用数据集COCO/VOC无人机识别数据集目标像素面积通常 32×32大量在 16×16 到 64×64 之间背景复杂度中等主体突出高天空/树冠/建筑混杂类内差异飞机形态相对统一多旋翼/固定翼/穿越机差异极大类间混淆飞机 vs 鸟较少见无人机 vs 鸟是核心难点标注粒度矩形框为主需要区分机型或至少区分“无人机/鸟”如果你直接拿 COCO 预训练权重去微调第一轮评估就会发现模型把鸟也框进来了召回率虚高精确率惨不忍睹。这不是模型的问题是数据分布的问题。2.2 采集用什么设备、拍什么场景、拍多少采集环节决定了数据集的上限。我见过太多人拿几百张同一角度、同一背景的图去训结果模型只学会了那个背景。无人机识别数据集的采集要覆盖以下变量高度50m、100m、200m、500m不同高度下目标像素面积差异巨大光照顺光、逆光、阴天、黄昏逆光下无人机几乎是个黑点背景纯天空、云层、树冠、建筑群、水面机型至少覆盖多旋翼和固定翼两类有条件加上穿越机和直升机干扰物飞鸟、风筝、气球、远处飞机数量上如果只做二分类无人机/背景每个场景组合至少 200 张有效图如果要做机型分类每个机型至少 500 个标注实例。这不是拍脑袋的数字是经验值——低于这个量模型学到的就是背景而不是目标。采集设备用普通可见光相机即可但要注意焦距。广角镜头下无人机太小长焦镜头下视野太窄。我一般用等效 24-70mm 的变焦在 50-100mm 焦段拍兼顾视野和目标尺寸。2.3 标注矩形框、旋转框还是关键点标注格式直接决定你后面能用什么检测头。常见做法是水平矩形框HBB最通用YOLO 系列、Faster R-CNN 都直接支持。缺点是当无人机倾斜时框内包含大量背景。旋转矩形框OBB适合遥感目标检测场景YOLOv8-OBB 和 MMRotate 都支持。无人机在俯拍视角下用 OBB 更紧凑。关键点标注四个电机位置适合做姿态估计但标注成本极高一般不做。我的建议如果图像是从地面往天上拍仰拍无人机姿态变化大用 HBB 就够了如果是俯拍无人机拍地面目标方向明确用 OBB 收益更大。标注工具用 LabelImg 或 CVAT 都行但要注意一个坑标注一致性。同一个人标 1000 张图前后标准会漂移。解决办法是每标 200 张就回头抽查 20 张看框的松紧程度是否一致。# 将 LabelImg 的 XML 标注转换为 YOLO 格式 # 输入Annotations/ 下的 .xml 文件 # 输出labels/ 下的 .txt 文件每行格式class_id cx cy w h归一化 import xml.etree.ElementTree as ET import os def convert_annotation(xml_path, output_dir, class_map): tree ET.parse(xml_path) root tree.getroot() size root.find(size) img_w int(size.find(width).text) img_h int(size.find(height).text) lines [] for obj in root.iter(object): cls_name obj.find(name).text if cls_name not in class_map: continue # 跳过未定义的类别 cls_id class_map[cls_name] bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) # 归一化并转换为中心点宽高格式 cx (xmin xmax) / 2.0 / img_w cy (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h lines.append(f{cls_id} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) if lines: out_name os.path.splitext(os.path.basename(xml_path))[0] .txt with open(os.path.join(output_dir, out_name), w) as f: f.write(\n.join(lines)) # class_map 示例{drone: 0, bird: 1}这段脚本的关键在于class_map的定义。如果你要做无人机 vs 鸟的二分类就设两个类如果只做无人机检测鸟的标注要么删掉要么归为背景。不要保留未使用的类别否则训练时模型会学到无意义的类别索引。参数说明cx cy w h全部归一化到 0-1 之间这是 YOLO 格式的硬性要求。如果标注时框超出了图像边界需要裁剪到边界内再归一化否则训练时会出现坐标越界报错。2.4 数据增强哪些有用、哪些是负收益无人机识别数据集的增强策略和通用检测有区别。翻转、缩放、色彩抖动是标配但要注意垂直翻转如果图像是仰拍天空垂直翻转后无人机变成“倒飞”这在现实中不存在会引入噪声。建议只做水平翻转。马赛克增强MosaicYOLO 系列常用把四张图拼成一张。对无人机小目标检测有正收益因为增加了目标在不同背景下的出现频率。随机裁剪要小心。如果裁剪后目标只剩一半标注框会变得不准确。建议裁剪时保证目标完整。运动模糊无人机在飞行适当加运动模糊能提升鲁棒性但模糊核不要太大否则目标直接消失。我一般用 Albumentations 做增强管线配置如下import albumentations as A transform A.Compose([ A.HorizontalFlip(p0.5), # 水平翻转模拟不同航向 A.RandomBrightnessContrast(p0.3), # 亮度对比度扰动模拟光照变化 A.MotionBlur(blur_limit5, p0.2), # 轻度运动模糊 A.Resize(640, 640), # 统一输入尺寸 A.Mosaic(p0.5), # 马赛克增强需 albumentations 扩展支持 ], bbox_paramsA.BboxParams(formatyolo, label_fields[class_labels]))注意BboxParams里的formatyolo要和你的标注格式一致。如果用的是 COCO 格式改成formatcoco。增强后的框如果面积小于 4 像素建议直接丢弃该样本否则模型会被噪声标签带偏。3. 用 YOLO 训练无人机检测模型从配置到评估3.1 选 YOLOv5、YOLOv8 还是 YOLOv11这不是一个“越新越好”的问题。YOLOv5 生态最成熟文档和社区答案最多适合快速跑通基线。YOLOv8 的 OBB 支持更好如果你用旋转框标注直接上 v8。YOLOv11 在精度上有提升但如果你只是做无人机二分类v5 和 v8 的差距在 1-2 个点以内不值得为此重写数据管线。我的建议先用 YOLOv5s 跑通全流程确认数据和标注没问题再换更大的模型或更新的版本冲精度。很多人的翻车点不是模型选错了而是数据本身有坑换什么模型都救不回来。3.2 数据集目录结构与 YAML 配置YOLO 系列要求固定的目录结构dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── data.yamldata.yaml的内容path: /home/user/dataset # 数据集根目录 train: images/train # 训练集路径相对于 path val: images/val # 验证集路径 test: images/test # 测试集路径可选 nc: 2 # 类别数 names: [drone, bird] # 类别名称顺序要和标注里的 class_id 对应这里有一个血泪经验names的顺序必须和标注转换时的class_map完全一致。如果标注时drone是 0、bird是 1但 YAML 里写反了训练不会报错但模型学到的语义是反的评估时你会看到精确率莫名其妙地低。3.3 训练命令与关键参数以 YOLOv5 为例最小训练命令python train.py \ --img 640 \ --batch 16 \ --epochs 100 \ --data data.yaml \ --weights yolov5s.pt \ --project runs/train \ --name drone_baseline参数逐个说--img 640输入分辨率。无人机目标小理论上用 1280 更好但显存翻倍。如果目标像素面积普遍小于 32×32建议上 1280。--batch 16根据显存调。显存不够就降 batch同时按比例升 epochs但不要超过 300。--weights yolov5s.pt预训练权重。不要从零训除非你有 10 万张以上的标注图。--epochs 100无人机数据集通常 50-100 轮就收敛看验证集 mAP 曲线连续 20 轮不升就可以停。训练过程中重点看三个指标box_loss、obj_loss、mAP0.5。如果box_loss下降但mAP不升说明模型在过拟合训练集的框验证集泛化差。如果obj_loss震荡检查标注里有没有空文件或越界框。3.4 评估mAP 之外必须看的两个指标mAP0.5 是标准指标但对无人机检测来说不够。你还需要看小目标召回率把验证集里目标面积小于 32×32 的样本单独拎出来算召回。如果整体 mAP 0.8 但小目标召回只有 0.4这个模型在实际场景里基本不可用。误检率False Positive per Image每张图平均误检多少个。无人机安防场景下误检一个鸟可能只是虚惊一场但误检率太高会导致系统不可用。# 用 YOLOv5 的 val.py 输出详细评估结果 python val.py \ --data data.yaml \ --weights runs/train/drone_baseline/weights/best.pt \ --img 640 \ --task val \ --verbose--verbose会输出每个类别的 P、R、mAP0.5、mAP0.5:0.95。如果bird类的 AP 远低于drone说明类间混淆严重需要增加鸟的样本或调整损失函数里的类别权重。4. 无人机识别数据集常见坑与排查4.1 现象训练 loss 正常下降但验证集 mAP 始终在 0.3 以下原因最常见的是标注格式不匹配。YOLO 要求归一化的中心点坐标如果你直接用了 VOC 的左上角右下角像素坐标模型学到的就是错的。另一个可能是data.yaml里的nc和实际类别数不一致。解决用脚本抽查 10 个标注文件手动算一下cx cy w h是否在 0-1 之间。如果出现大于 1 的值说明归一化除了问题。另外检查names列表长度是否等于nc。4.2 现象模型把鸟全部误检为无人机原因训练集里鸟的样本太少或者鸟和无人机的标注标准不一致比如鸟只标了身体无人机标了全部旋翼。模型学到的特征边界模糊。解决增加鸟的样本到至少占总样本的 30%。如果鸟的样本实在不够考虑用 focal loss 或调整类别权重。另一个技巧是在标注时对鸟和无人机采用相同的框选标准——都框到最外沿。4.3 现象换一个场景比如从晴天换到阴天模型完全失效原因训练集背景单一模型过拟合到了特定光照和背景。这是无人机识别数据集构建中最常见的坑。解决在采集阶段就强制覆盖多种光照和背景。如果已经训完了用测试集里的阴天样本做一次评估看 mAP 掉多少。如果掉超过 20 个点说明数据多样性不够需要补采。增强方面RandomBrightnessContrast和HueSaturationValue能缓解但不能根治。4.4 现象小目标召回率极低大目标正常原因输入分辨率不够。640×640 下一个 20×20 的无人机缩放到 640 后可能只剩 10×10特征图上的响应太弱。解决把--img提到 1280同时--batch减半。如果显存不够用--img 1024折中。另一个办法是在数据增强里减少缩放幅度或者用--rect保持长宽比训练。4.5 现象训练到 50 轮后 mAP 突然暴跌原因学习率过高导致模型跳出局部最优或者数据增强里的 Mosaic 在后期引入了太多噪声。解决YOLOv5 默认用余弦退火学习率如果暴跌发生在退火后期把--lrf从 0.01 调到 0.1让学习率下降更平缓。另外可以在最后 10 轮关闭 Mosaic--mosaic 0让模型在真实分布上微调。5. 进阶用多模态思路提升无人机与鸟的区分能力纯视觉模型在无人机 vs 鸟这个问题上有个天花板当无人机在远处只剩几个像素时它的视觉特征和鸟几乎一样。这时候可以考虑多模态思路——不是让你上大模型而是在数据层面引入额外信息。一个实际可操作的做法是用序列信息代替单帧判断。无人机有旋翼运动轨迹和鸟不同。如果你有视频数据可以抽连续帧把光流特征或轨迹特征拼到检测头的输入里。具体做法是# 伪代码在 YOLO 的检测头前融合光流特征 # 输入当前帧特征图 f_t前一帧特征图 f_{t-1} # 输出融合后的特征图 f_fused import torch import torch.nn as nn class FlowFusion(nn.Module): def __init__(self, in_channels): super().__init__() # 用 1x1 卷积把光流特征对齐到检测特征通道数 self.flow_conv nn.Conv2d(2, in_channels, kernel_size1) self.fuse_conv nn.Conv2d(in_channels * 2, in_channels, kernel_size1) def forward(self, f_t, f_prev): # 计算简单帧差作为光流近似 flow f_t - f_prev # 形状 [B, C, H, W] # 取前两个通道作为运动特征实际应用建议用 RAFT 等光流网络 flow_feat self.flow_conv(flow[:, :2, :, :]) # 拼接后融合 fused torch.cat([f_t, flow_feat], dim1) return self.fuse_conv(fused)这段代码的核心思路是把帧间差分作为运动线索和当前帧的视觉特征拼接。无人机旋翼的运动模式是高频抖动鸟的翅膀是低频扑动帧差特征能在一定程度上区分两者。参数上flow_conv的输入通道是 2x 和 y 方向的运动输出通道对齐到检测特征通道数。fuse_conv把拼接后的双倍通道压回原通道数。实际部署时这个模块可以插在 YOLO 的 Neck 部分不需要改检测头。训练时用视频抽帧构建样本对推理时用前后两帧。代价是推理延迟增加约 15-20%但无人机 vs 鸟的区分准确率能提升 8-12 个点。另一个更轻量的技巧是在标注层面做文章把鸟的标注框稍微放大 10%让模型学到“鸟的框比无人机松”这个先验。这听起来像玄学但在实际项目里确实有效——模型会利用框的尺寸分布作为辅助判别信号。当然这要求你的评估指标里包含框的 IoU 分布分析否则你无法验证这个技巧是否真的起了作用。我自己的习惯是每做完一个无人机识别数据集先不急着训大模型而是用 YOLOv5s 跑一个 50 轮的基线看小目标召回和鸟的误检率。这两个数字如果不过关后面换什么模型都是白搭。数据集的坑永远比模型的坑更深。希望帮到你。本文还有配套的精品资源点击获取 无人机识别数据集构建与YOLO目标检测实战指南
简介这份资源是面向深度学习目标检测方向的无人机识别数据集适合正在做无人机检测项目、课程设计或算法对比实验的开发者与研究者使用可服务于YOLO系列、Faster R-CNN、SSD等主流检测模型的训练与验证。压缩包内共2000个文件以1999个txt标签文件和1个yaml类别配置文件为主txt对应每张图片的目标框标注yaml用于指定类别信息整体约814.16MB图片数量达9229张并已按训练集、验证集、测试集完成划分同时提供VOC格式的xml标签方便不同框架直接读取。目前已有340人学习关注。数据集覆盖无人机这一类目标可直接接入YOLOv5至YOLOv10等版本开展训练省去自行标注与划分数据的时间便于快速复现检测流程、对比不同模型精度也为调参和排错提供稳定的数据基础。1. 无人机识别数据集与目标检测从“看不见的鸟”到“飞行的铁块”到底差在哪你手里有一批航拍图想训练一个模型把无人机从天空里框出来。听起来跟训练一个鸟类目标检测器没什么区别但真跑起来你会发现模型能把麻雀框得死死的却对着一架四旋翼视而不见。问题不在网络结构而在数据集本身——无人机识别数据集在目标尺度、背景复杂度、标注粒度上和常规目标检测数据集有本质差异。这个方向适合两类人一是做低空安防、机场净空、敏感区域巡检的算法工程师需要快速验证一个可用的检测基线二是手里已经有遥感目标检测或鸟类目标检测经验想迁移到无人机场景的研究者。核心诉求很直接数据从哪来、怎么标、怎么训、怎么评估以及最关键的——怎么避免训出一个“只认特定机型、换个背景就翻车”的模型。2. 无人机识别数据集从采集到标注的完整链路2.1 为什么通用目标检测数据集在无人机场景下不够用COCO 里不是没有“飞机”这个类但那是客机、战斗机尺寸大、背景干净、姿态单一。无人机在图像里的像素面积可能只有 20×20背景可能是树冠、楼顶、云层甚至和飞鸟在视觉上高度混淆。更麻烦的是无人机目标检测的难点不在“检测”本身而在“区分”——区分无人机和鸟、区分无人机和远处飘的塑料袋、区分不同机型。我一般会把无人机识别数据集的构建拆成三个维度来评估维度通用数据集COCO/VOC无人机识别数据集目标像素面积通常 32×32大量在 16×16 到 64×64 之间背景复杂度中等主体突出高天空/树冠/建筑混杂类内差异飞机形态相对统一多旋翼/固定翼/穿越机差异极大类间混淆飞机 vs 鸟较少见无人机 vs 鸟是核心难点标注粒度矩形框为主需要区分机型或至少区分“无人机/鸟”如果你直接拿 COCO 预训练权重去微调第一轮评估就会发现模型把鸟也框进来了召回率虚高精确率惨不忍睹。这不是模型的问题是数据分布的问题。2.2 采集用什么设备、拍什么场景、拍多少采集环节决定了数据集的上限。我见过太多人拿几百张同一角度、同一背景的图去训结果模型只学会了那个背景。无人机识别数据集的采集要覆盖以下变量高度50m、100m、200m、500m不同高度下目标像素面积差异巨大光照顺光、逆光、阴天、黄昏逆光下无人机几乎是个黑点背景纯天空、云层、树冠、建筑群、水面机型至少覆盖多旋翼和固定翼两类有条件加上穿越机和直升机干扰物飞鸟、风筝、气球、远处飞机数量上如果只做二分类无人机/背景每个场景组合至少 200 张有效图如果要做机型分类每个机型至少 500 个标注实例。这不是拍脑袋的数字是经验值——低于这个量模型学到的就是背景而不是目标。采集设备用普通可见光相机即可但要注意焦距。广角镜头下无人机太小长焦镜头下视野太窄。我一般用等效 24-70mm 的变焦在 50-100mm 焦段拍兼顾视野和目标尺寸。2.3 标注矩形框、旋转框还是关键点标注格式直接决定你后面能用什么检测头。常见做法是水平矩形框HBB最通用YOLO 系列、Faster R-CNN 都直接支持。缺点是当无人机倾斜时框内包含大量背景。旋转矩形框OBB适合遥感目标检测场景YOLOv8-OBB 和 MMRotate 都支持。无人机在俯拍视角下用 OBB 更紧凑。关键点标注四个电机位置适合做姿态估计但标注成本极高一般不做。我的建议如果图像是从地面往天上拍仰拍无人机姿态变化大用 HBB 就够了如果是俯拍无人机拍地面目标方向明确用 OBB 收益更大。标注工具用 LabelImg 或 CVAT 都行但要注意一个坑标注一致性。同一个人标 1000 张图前后标准会漂移。解决办法是每标 200 张就回头抽查 20 张看框的松紧程度是否一致。# 将 LabelImg 的 XML 标注转换为 YOLO 格式 # 输入Annotations/ 下的 .xml 文件 # 输出labels/ 下的 .txt 文件每行格式class_id cx cy w h归一化 import xml.etree.ElementTree as ET import os def convert_annotation(xml_path, output_dir, class_map): tree ET.parse(xml_path) root tree.getroot() size root.find(size) img_w int(size.find(width).text) img_h int(size.find(height).text) lines [] for obj in root.iter(object): cls_name obj.find(name).text if cls_name not in class_map: continue # 跳过未定义的类别 cls_id class_map[cls_name] bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) # 归一化并转换为中心点宽高格式 cx (xmin xmax) / 2.0 / img_w cy (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h lines.append(f{cls_id} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) if lines: out_name os.path.splitext(os.path.basename(xml_path))[0] .txt with open(os.path.join(output_dir, out_name), w) as f: f.write(\n.join(lines)) # class_map 示例{drone: 0, bird: 1}这段脚本的关键在于class_map的定义。如果你要做无人机 vs 鸟的二分类就设两个类如果只做无人机检测鸟的标注要么删掉要么归为背景。不要保留未使用的类别否则训练时模型会学到无意义的类别索引。参数说明cx cy w h全部归一化到 0-1 之间这是 YOLO 格式的硬性要求。如果标注时框超出了图像边界需要裁剪到边界内再归一化否则训练时会出现坐标越界报错。2.4 数据增强哪些有用、哪些是负收益无人机识别数据集的增强策略和通用检测有区别。翻转、缩放、色彩抖动是标配但要注意垂直翻转如果图像是仰拍天空垂直翻转后无人机变成“倒飞”这在现实中不存在会引入噪声。建议只做水平翻转。马赛克增强MosaicYOLO 系列常用把四张图拼成一张。对无人机小目标检测有正收益因为增加了目标在不同背景下的出现频率。随机裁剪要小心。如果裁剪后目标只剩一半标注框会变得不准确。建议裁剪时保证目标完整。运动模糊无人机在飞行适当加运动模糊能提升鲁棒性但模糊核不要太大否则目标直接消失。我一般用 Albumentations 做增强管线配置如下import albumentations as A transform A.Compose([ A.HorizontalFlip(p0.5), # 水平翻转模拟不同航向 A.RandomBrightnessContrast(p0.3), # 亮度对比度扰动模拟光照变化 A.MotionBlur(blur_limit5, p0.2), # 轻度运动模糊 A.Resize(640, 640), # 统一输入尺寸 A.Mosaic(p0.5), # 马赛克增强需 albumentations 扩展支持 ], bbox_paramsA.BboxParams(formatyolo, label_fields[class_labels]))注意BboxParams里的formatyolo要和你的标注格式一致。如果用的是 COCO 格式改成formatcoco。增强后的框如果面积小于 4 像素建议直接丢弃该样本否则模型会被噪声标签带偏。3. 用 YOLO 训练无人机检测模型从配置到评估3.1 选 YOLOv5、YOLOv8 还是 YOLOv11这不是一个“越新越好”的问题。YOLOv5 生态最成熟文档和社区答案最多适合快速跑通基线。YOLOv8 的 OBB 支持更好如果你用旋转框标注直接上 v8。YOLOv11 在精度上有提升但如果你只是做无人机二分类v5 和 v8 的差距在 1-2 个点以内不值得为此重写数据管线。我的建议先用 YOLOv5s 跑通全流程确认数据和标注没问题再换更大的模型或更新的版本冲精度。很多人的翻车点不是模型选错了而是数据本身有坑换什么模型都救不回来。3.2 数据集目录结构与 YAML 配置YOLO 系列要求固定的目录结构dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── data.yamldata.yaml的内容path: /home/user/dataset # 数据集根目录 train: images/train # 训练集路径相对于 path val: images/val # 验证集路径 test: images/test # 测试集路径可选 nc: 2 # 类别数 names: [drone, bird] # 类别名称顺序要和标注里的 class_id 对应这里有一个血泪经验names的顺序必须和标注转换时的class_map完全一致。如果标注时drone是 0、bird是 1但 YAML 里写反了训练不会报错但模型学到的语义是反的评估时你会看到精确率莫名其妙地低。3.3 训练命令与关键参数以 YOLOv5 为例最小训练命令python train.py \ --img 640 \ --batch 16 \ --epochs 100 \ --data data.yaml \ --weights yolov5s.pt \ --project runs/train \ --name drone_baseline参数逐个说--img 640输入分辨率。无人机目标小理论上用 1280 更好但显存翻倍。如果目标像素面积普遍小于 32×32建议上 1280。--batch 16根据显存调。显存不够就降 batch同时按比例升 epochs但不要超过 300。--weights yolov5s.pt预训练权重。不要从零训除非你有 10 万张以上的标注图。--epochs 100无人机数据集通常 50-100 轮就收敛看验证集 mAP 曲线连续 20 轮不升就可以停。训练过程中重点看三个指标box_loss、obj_loss、mAP0.5。如果box_loss下降但mAP不升说明模型在过拟合训练集的框验证集泛化差。如果obj_loss震荡检查标注里有没有空文件或越界框。3.4 评估mAP 之外必须看的两个指标mAP0.5 是标准指标但对无人机检测来说不够。你还需要看小目标召回率把验证集里目标面积小于 32×32 的样本单独拎出来算召回。如果整体 mAP 0.8 但小目标召回只有 0.4这个模型在实际场景里基本不可用。误检率False Positive per Image每张图平均误检多少个。无人机安防场景下误检一个鸟可能只是虚惊一场但误检率太高会导致系统不可用。# 用 YOLOv5 的 val.py 输出详细评估结果 python val.py \ --data data.yaml \ --weights runs/train/drone_baseline/weights/best.pt \ --img 640 \ --task val \ --verbose--verbose会输出每个类别的 P、R、mAP0.5、mAP0.5:0.95。如果bird类的 AP 远低于drone说明类间混淆严重需要增加鸟的样本或调整损失函数里的类别权重。4. 无人机识别数据集常见坑与排查4.1 现象训练 loss 正常下降但验证集 mAP 始终在 0.3 以下原因最常见的是标注格式不匹配。YOLO 要求归一化的中心点坐标如果你直接用了 VOC 的左上角右下角像素坐标模型学到的就是错的。另一个可能是data.yaml里的nc和实际类别数不一致。解决用脚本抽查 10 个标注文件手动算一下cx cy w h是否在 0-1 之间。如果出现大于 1 的值说明归一化除了问题。另外检查names列表长度是否等于nc。4.2 现象模型把鸟全部误检为无人机原因训练集里鸟的样本太少或者鸟和无人机的标注标准不一致比如鸟只标了身体无人机标了全部旋翼。模型学到的特征边界模糊。解决增加鸟的样本到至少占总样本的 30%。如果鸟的样本实在不够考虑用 focal loss 或调整类别权重。另一个技巧是在标注时对鸟和无人机采用相同的框选标准——都框到最外沿。4.3 现象换一个场景比如从晴天换到阴天模型完全失效原因训练集背景单一模型过拟合到了特定光照和背景。这是无人机识别数据集构建中最常见的坑。解决在采集阶段就强制覆盖多种光照和背景。如果已经训完了用测试集里的阴天样本做一次评估看 mAP 掉多少。如果掉超过 20 个点说明数据多样性不够需要补采。增强方面RandomBrightnessContrast和HueSaturationValue能缓解但不能根治。4.4 现象小目标召回率极低大目标正常原因输入分辨率不够。640×640 下一个 20×20 的无人机缩放到 640 后可能只剩 10×10特征图上的响应太弱。解决把--img提到 1280同时--batch减半。如果显存不够用--img 1024折中。另一个办法是在数据增强里减少缩放幅度或者用--rect保持长宽比训练。4.5 现象训练到 50 轮后 mAP 突然暴跌原因学习率过高导致模型跳出局部最优或者数据增强里的 Mosaic 在后期引入了太多噪声。解决YOLOv5 默认用余弦退火学习率如果暴跌发生在退火后期把--lrf从 0.01 调到 0.1让学习率下降更平缓。另外可以在最后 10 轮关闭 Mosaic--mosaic 0让模型在真实分布上微调。5. 进阶用多模态思路提升无人机与鸟的区分能力纯视觉模型在无人机 vs 鸟这个问题上有个天花板当无人机在远处只剩几个像素时它的视觉特征和鸟几乎一样。这时候可以考虑多模态思路——不是让你上大模型而是在数据层面引入额外信息。一个实际可操作的做法是用序列信息代替单帧判断。无人机有旋翼运动轨迹和鸟不同。如果你有视频数据可以抽连续帧把光流特征或轨迹特征拼到检测头的输入里。具体做法是# 伪代码在 YOLO 的检测头前融合光流特征 # 输入当前帧特征图 f_t前一帧特征图 f_{t-1} # 输出融合后的特征图 f_fused import torch import torch.nn as nn class FlowFusion(nn.Module): def __init__(self, in_channels): super().__init__() # 用 1x1 卷积把光流特征对齐到检测特征通道数 self.flow_conv nn.Conv2d(2, in_channels, kernel_size1) self.fuse_conv nn.Conv2d(in_channels * 2, in_channels, kernel_size1) def forward(self, f_t, f_prev): # 计算简单帧差作为光流近似 flow f_t - f_prev # 形状 [B, C, H, W] # 取前两个通道作为运动特征实际应用建议用 RAFT 等光流网络 flow_feat self.flow_conv(flow[:, :2, :, :]) # 拼接后融合 fused torch.cat([f_t, flow_feat], dim1) return self.fuse_conv(fused)这段代码的核心思路是把帧间差分作为运动线索和当前帧的视觉特征拼接。无人机旋翼的运动模式是高频抖动鸟的翅膀是低频扑动帧差特征能在一定程度上区分两者。参数上flow_conv的输入通道是 2x 和 y 方向的运动输出通道对齐到检测特征通道数。fuse_conv把拼接后的双倍通道压回原通道数。实际部署时这个模块可以插在 YOLO 的 Neck 部分不需要改检测头。训练时用视频抽帧构建样本对推理时用前后两帧。代价是推理延迟增加约 15-20%但无人机 vs 鸟的区分准确率能提升 8-12 个点。另一个更轻量的技巧是在标注层面做文章把鸟的标注框稍微放大 10%让模型学到“鸟的框比无人机松”这个先验。这听起来像玄学但在实际项目里确实有效——模型会利用框的尺寸分布作为辅助判别信号。当然这要求你的评估指标里包含框的 IoU 分布分析否则你无法验证这个技巧是否真的起了作用。我自己的习惯是每做完一个无人机识别数据集先不急着训大模型而是用 YOLOv5s 跑一个 50 轮的基线看小目标召回和鸟的误检率。这两个数字如果不过关后面换什么模型都是白搭。数据集的坑永远比模型的坑更深。希望帮到你。本文还有配套的精品资源点击获取