图解YOLO（You Only Look Once）目标检测（v1-v5）

1. YOLO系列整体介绍

YOLO属于深度学习经典检测方法中的单阶段（one - stage）类型，与两阶段（two - stage，如Faster - rcnn、Mask - Rcnn系列）方法相对。

不同模型性能

单阶段方法的最核心优势是速度非常快，适合做实时检测任务，但通常检测效果不如两阶段方法

2. 指标分析

map指标：综合衡量检测效果，不能仅依靠精度（Precision）和召回率（Recall）来评估检测模型性能。

IOU（交并比）：计算公式为 $IOU=\frac{Area\ of\ Overlap}{Area\ of\ Union}$ ，用于衡量预测框与真实框的重叠程度。

Precision和Recall：

Precision（精度）公式为 $Precision =\frac{TP}{TP + FP}$ ，

Recall（召回率）公式为 $Recall =\frac{TP}{TP + FN}$ 。

基于置信度阈值来计算，例如分别计算0.9；0.8；0.7

0.9时：TP+FP = 1，TP = 1 ；FN = 2；Precision=1/1；Recall=1/3；

AP与MAP：

AP（Average Precision）计算需要考虑所有阈值，MAP（Mean Average Precision）是所有类别的平均AP，通过Precision - Recall曲线来理解。

3. YOLO - V1

核心思想与方法：

经典的one - stage方法，把检测问题转化成回归问题，使用一个CNN即可完成检测任务。

应用领域：可以对视频进行实时检测，应用领域广泛。

性能指标对比：

网络架构：输入图像后经过一系列卷积层（CR）、全连接层（FC）处理，最终输出预测结果。7×7表示最终网格的大小，每个网格预测B个边界框，每个边界框包含位置(X, Y, H, W)、置信度C等信息。

7×7表示最终网格的大小，每个网格预测B个边界框，每个边界框包含位置(X, Y, H, W)、置信度C等信息。

每个数字的含义：

10 =(X,Y,H,W,C)*B（2个）当前数据集中有20个类别，

7*7表示最终网格的大小（S*S）*（B*5+C）

损失函数：包含位置误差、置信度误差（分含有物体和不含物体两种情况）、分类误差。

NMS(非极大值抑制)

优点与问题：优点是快速、简单；问题在于每个Cell只预测一个类别，重叠物体检测存在困难，小物体检测效果一般，长宽比可选但单一。

4. YOLO - V2

整体提升：相比YOLO - V1更快、更强，在VOC2007数据集上mAP达到78.6。

改进点

Batch Normalization：舍弃Dropout，卷积后全部加入Batch Normalization，使网络每一层输入归一化，收敛更容易，mAP提升2%。

更大的分辨率：V1训练和测试分辨率不同，训练时用的是224*224，测试时使用448*448，可能导致模型水土不服。V2训练时额外进行10次448×448的微调，使用高分辨率分类器后，mAP提升约4%。

网络结构：采用DarkNet架构，实际输入为416×416，没有FC层，5次降采样，通过1×1卷积节省参数。

聚类提取先验框：通过K - means聚类确定先验框，使预测的box数量更多（13×13×n），先验框不是直接按固定长宽比给定，引入anchor boxes后召回率提升。

Anchor Box：

通过引入anchor boxes，使得预测的box数量更多（13*13*n）

跟faster-rcnn系列不同的是先验框并不是直接按照长宽固定比给定

Directed Location Prediction：改进位置预测方式，使用相对grid cell的偏移量，避免模型不稳定问题，计算公式为

例如预测值(σtx,σty,tw,th)=(0.2,0.1,0.2,0.32)，anchor框为：

在特征图位置：

在原位置：

感受野与小卷积核优势：

概述来说就是特征图上的点能看到原始图像多大区域

如果堆叠3个3*3的卷积层，并且保持滑动窗口步长为1，其感受野就是7*7的了，这跟一个使用7*7卷积核的结果是一样的，那为什么非要堆叠3个小卷积呢？

假设输入大小都是h*w*c，并且都使用c个卷积核(得到c个特征图)，可以来计算一下其各自所需参数：

很明显，堆叠小的卷积核所需的参数更少一些，并且卷积过程越多，特征提取也会越细致，加入的非线性变换也随着增多，还不会增大权重参数个数，这就是VGG网络的基本出发点，用小的卷积核来完成体特征提取操作。

Fine - Grained Features：融合之前的特征，解决最后一层感受野太大导致小目标可能丢失的问题。

Multi - Scale：利用卷积操作特性，在一定iterations之后改变输入图片大小，最小320×320，最大608×608，以适应不同尺度目标检测。

5. YOLO - V3

主要改进：最大改进在于网络结构，更适合小目标检测。特征提取更细致，融入多尺度特征图信息预测不同规格物体，先验框更丰富（3种scale，每种3个规格，共9种），改进softmax用于预测多标签任务。

多scale检测：设计3个scale用于检测不同大小物体，介绍了不同scale的预测张量以及与特征图的关系。

cale变换经典方法

左图：对不同的特征图分别利用；右图：不同的特征图融合后进行预测

残差连接：采用resnet的思想，堆叠更多层进行特征提取，利用残差连接提升性能。从今天的角度来看，基本所有网络架构都用上了残差连接的方法

核心网络架构：没有池化和全连接层，全部采用卷积，下采样通过stride为2实现，展示了网络的输入、卷积层操作以及输出的相关信息。

先验框设计：

13*13特征图上：(116x90)，(156x198)，(373x326)26*26特征图上：(30x61)，(62x45)，(59x119)

52*52特征图上：(10x13)，(16x30)，(33x23)

softmax层替代：使用logistic激活函数替代softmax，用于预测物体的多个标签。

6. YOLO - V4

整体介绍：虽作者更换，但核心精髓未变，在单GPU上训练效果良好，从数据层面和网络设计层面进行大量改进。

V4贡献：

亲民政策，单GPU就能训练的非常好，接下来很多小模块都是这个出发点两大核心方法，从数据层面和网络设计层面来进行改善

消融实验，工作量不轻全部实验都是单GPU完成

Bag of freebies（BOF）

数据增强：包括调整亮度、对比度、色调、随机缩放、剪切、翻转、旋转，Mosaic数据增强（四张图像拼接成一张训练）、Random Erase（用随机值或训练集平均像素值替换图像区域）、Hide and Seek（根据概率随机隐藏一些补丁）等方法。

Mosaic data augmentation