MATLAB深度学习(七)——ResNet残差网络

一、ResNet网络

ResNet是深度残差网络的简称。其核心思想就是在，每两个网络层之间加入一个残差连接，缓解深层网络中的梯度消失问题

二、残差结构

在多层神经网络模型里，设想一个包含诺干层自网络，子网络的函数用H(x)来表示，其中x是子网络的输入。残差学习是通过重新设定这个参数，让一个参数层表达一个残差函数 $F(x)=H(x)-x$

因此这个子网络的输出y 就是

$y=F(x)+x$

其中 +x 的操作，是通过一个相当于恒等映射的跳跃连接来完成的，它将残差块的输入直接与输出连接，这就是残差结构。按照上面的结构递推，根据前向传播，第i个残差块的输出就是第i+1个残差块的输入

$x_{\ell+1}=F(x_\ell)+x_\ell$

根据递归公式，可以推导出

$x_L=x_\ell+\sum_{i=l}^{L-1}F(x_i)$

这里的L表示任意后续残差块，i是靠前块，那么公式就说明了总会有信号能从浅层到深层。

从反向传播来看，根据上面的公式对 Xl 进行求导，可以得到

$\begin{aligned} \frac{\partial\mathcal{E}}{\partial x_\ell} & =\frac{\partial\mathcal{E}}{\partial x_L}\frac{\partial x_L}{\partial x_\ell} \\ & =\frac{\partial\mathcal{E}}{\partial x_L}\left(1+\frac{\partial}{\partial x_\ell}\sum_{i=l}^{L-1}F(x_i)\right) \\ & =\frac{\partial\mathcal{E}}{\partial x_L}+\frac{\partial\mathcal{E}}{\partial x_L}\frac{\partial}{\partial x_\ell}\sum_{i=l}^{L-1}F(x_i) \end{aligned}$

这里的 $\mathcal{E}$ 是最小损失化函数。以上说明，浅层的梯度计算 $\frac{\partial\mathcal{E}}{\partial x_{\ell}}$ ，总会直接加上上一个项 $\frac{\partial\mathcal{E}}{\partial x_L}$ 因为存在额外的一项，所以就想 F(xi)很小，总的梯度都不会消失。

三、基于ResNet识别实现步骤

其主要步骤为1.加载图像数据，并将数据分为训练集合与验证集；2.加载MATLAB训练好的ResNet50；3.和Alexnet一样替换最后几层；4.按照网络配置调整图像数据；5.对网络进行训练

3.1 调整ResNet实现迁移学习

针对ImageNet的数据任务，原本最后三层 FC SOFTMAX 输出层是针对1000个类别的物体进行识别，针对图像问题，继续调整这三层，首先冻结上面的层。将下面的三层进行替换。由于ResNet50需要输入的图像大小为224 * 224 *3.

unzip('MerchData.zip');
img_ds = imageDatastore('MerchData', ...'IncludeSubfolders',true, ...'LabelSource','foldernames');total_split = countEachLabel(img_ds); %返回一个包含每个标签和相应图像数量的表格num_images = length(img_ds.Labels); %返回的图像的个数，5个类型都有15张照片
perm =  randperm(num_images,10);  %随机取出10个
figure
for i = 1:9subplot(3,3,i)imshow(imread(img_ds.Files{perm(i)})); %从图像数据集 (img_ds) 中读取一张图像并显示它%可以用alexnet的方法
endtest_idx = randperm(num_images,9); %随机取5张做样本
img_ds_Test = subset(img_ds,test_idx);
train_idx = setdiff(1:length(img_ds.Files),test_idx);
img_ds_Train = subset(img_ds,train_idx);%% 步骤2：加载预训练好的网络% 加载ResNet50网络（注：该网络需要提前下载，当输入下面命令时按要求下载即可）
net = resnet50;%% 步骤3：对网络结构进行调整，替换最后几层% 获取网络图结构
LayerGraph = layerGraph(net);
clear net;% 确定训练数据中新冠图片标签类别数量：5类
numClasses = numel(categories(img_ds_Train.Labels));
disp(numClasses);% 保留ResNet50倒数第三层之前的网络，并替换后3层
% 倒数第三层的全连接层，这里修改为5类
newLearnableLayer = fullyConnectedLayer(numClasses,...'Name','new_fc',...'WeightLearnRateFactor',10,...
'BiasLearnRateFactor',10);
%numClasses 分类任务。通过设置 WeightLearnRateFactor 和 BiasLearnRateFactor
%来控制学习率的调整，使得这些层在训练过程中能更快速地学习
% 分别替换最后3层：fc1000、softmax和分类输出层
LayerGraph = replaceLayer(LayerGraph,'fc1000',newLearnableLayer);
%替换了原网络中的 fc1000 层（ResNet50 中的全连接层）为 new_fc 层
% （即刚才定义的新的全连接层）。replaceLayer 函数通过层的名字来替换图层newSoftmaxLayer = softmaxLayer('Name','new_softmax');
LayerGraph = replaceLayer(LayerGraph,'fc1000_softmax',newSoftmaxLayer);newClassLayer = classificationLayer('Name','new_classoutput');
LayerGraph = replaceLayer(LayerGraph,'ClassificationLayer_fc1000',newClassLayer);%% 步骤4：按照网络配置调整图像数据% 输入图像格式转换，这里调用了自定义函数preprocess
img_ds_Train.ReadFcn = @(filename)preprocess(filename);
img_ds_Test.ReadFcn  = @(filename)preprocess(filename);% 数据增强的参数
augmenter = imageDataAugmenter(...'RandRotation',[-5 5],...'RandXReflection',1,...'RandYReflection',1,...'RandXShear',[-0.05 0.05],...'RandYShear',[-0.05 0.05]);
% 将批量训练图像的大小调整为与输入层的大小相同
aug_img_ds_train = augmentedImageDatastore([224 224],img_ds_Train,'DataAugmentation',augmenter);
% 将批量测试图像的大小调整为与输入层的大小相同
aug_img_ds_test = augmentedImageDatastore([224 224],img_ds_Test);%% 步骤5：对网络进行训练% 对训练参数进行设置
options = trainingOptions('adam',...'MaxEpochs',10,...'MiniBatchSize',8,...'Shuffle','every-epoch',...'InitialLearnRate',1e-4,...'Verbose',false,...'Plots','training-progress',...'ExecutionEnvironment','cpu');% 用训练图像对网络进行训练
netTransfer = trainNetwork(aug_img_ds_train,LayerGraph,options);%% 步骤6：进行测试并查看结果% 对训练好的网络采用验证数据集进行验证
[YPred,scores] = classify(netTransfer,aug_img_ds_test);% 随机显示验证效果
idx = randperm(numel(img_ds_Test.Files),4);
figure
for i = 1:4subplot(2,2,i)I = readimage(img_ds_Test,idx(i));imshow(I)label = YPred(idx(i));title(string(label));
end%% 计算分类准确率
YValidation = img_ds_Test.Labels;
accuracy = mean(YPred == YValidation);%% 创建并显示混淆矩阵
figure
confusionchart(YValidation,YPred)

实现效果如下：