优化建站seo门户,php做的直播网站,如何做购物网站的教程,怎么做微帮网站介绍我们知道#xff0c;把神经网络拆解#xff0c;可以把它归结为几个元素的排列组合而成#xff0c;例如#xff0c;以卷积神经网络为例#xff0c;其主要由卷积层#xff0c;池化层#xff0c;残差连接#xff0c;注意力层#xff0c;全连接层等组成#xff0c;如…介绍我们知道把神经网络拆解可以把它归结为几个元素的排列组合而成例如以卷积神经网络为例其主要由卷积层池化层残差连接注意力层全连接层等组成如果我们把它们抽象就可抽象为一个个cell块拼接而成。每个cell块内部可由卷积操作(例如分组卷积分组数为2或者4)卷积后通道数卷积核大小内部残差连接复制前面模块的数量等参数构成。而cell块之间又可相互连接构成稀疏或者稠密连接构成整体的网络。神经结构搜索(NAS)能够自动搜索构建神经网络结构它以上述的cell块组成部分以及cell块之间的关联关系作为搜索空间自动探测符合任务的神经网络结构。这篇论文就是基于神经结构搜索自动搜索构建出超分辨率网络结构主要以遗传算法进行建模优化。模型建立模型的结构示意图如下: 输入为低分辨率图像中间特征抽取由一个个cell模块组成最后输出利用亚像素上采样获取。亚像素采样可由如下图操作方式处理 将最后一层卷积层输出的通道平铺开来得到最终的高分辨率图像。神经架构搜索主要是自动搜索出特征抽取层。从宏观上看搜索空间主要为cell间的连接关系。定义 表示第 个cell(表示为 )与第 个cell(表示为 )间的连接关系为1表示存在连接为0表示不存在连接。而 会与它后续的cell间会存在连接或者不连接的关系以 表示。则从宏观上编码如下:从微观上看先从cell内部上看设计由以下几个部分组成搜索空间:1.卷积其中卷积采用分组卷积分组数可选为[2,4]。输出的形状类似于倒置的瓶状扩展率为22.通道数选择为:[16,32,48,64]3.卷积核大小选择为:[1,3]4.是否带有内部的残差连接:[true,false]5.重复的块数:[1,2,4]那么总共会有 种选择。该选择空间定义为 。ps:论文中说有192种论文中选择的搜索空间组成如下图没理解出怎么会有192种而且卷积的选择inverted bottleneck block with an expansion rate of 2也不确定到底怎么处理具体代码也没放出来。这些不影响我们对整体算法思想的理解如果有了解的请评论讲解下。。。总共有 个cell以 表示 选择的内部组成结构则微观上的编码为:故整体网络的编码由 组成。模型生成模型生成过程以遗传算法为主具体为带精英策略的非支配排序的遗传算法(NSGA-II)。具体算法步骤如下1.初始化。初始化种群 种群数量为 。每个个体由 个cell块组成cell块随机采样从 中采样取得而cell块之间的连接为生成[0,1]之间的随机数 若 在采用随机连接若 则采用密度连接若 则不连接。进行非支配排序和选择、交叉、变异后得到第一代种群 。设 。2.得到新父种群。对 进行快速非支配排序计算拥挤度距离选择出 个个体。这里介绍下Paerot支配关系。对于最小化多目标问题对于多目标向量 ,任意给定两个向量 若对于 ,都有 则A支配B若对于 ,都有 且 有 则A弱支配B。若对于 ,都有 且 有 则A与B互不支配。而快速支配排序算法步骤如下(1)依次遍历每个个体记录下非支配个体数量 和支配个体集合 。设 (2)取 的个体设置其排序号为 。(3)对序号为 的个体的支配集合中的所有个体做 。 加1重复步骤(2),直到排序完毕。支配排序用到下面这三个量组成的向量(1)PSNR(峰值信噪比)对于两幅图像计算方法如下:其中n为每像素的比特数.(2)计算的花费(3)参数的数量之后计算拥挤度距离这里的拥挤度距离计算方法如下:(1):对于排序号为 的个体初始化 (2):针对目标函数排序如果排序后个体在边界则设置拥挤度距离为inf否则按下式计算:具体看参见论文Improved Crowding Distance for NSGA-II。先按 的大小取个体对于同级按拥挤度距离的大小取共取出 个。3.选择。选择使用二进制锦标赛法即从种群中随机选择2个个体更优的留下。4.交叉。选择得到的个体随机选择位置交互编码的元素例如对于模型A其编码为 对于模型B其编码为 而生成的模型C则分别对 进行交叉得 5.变异。对于个体中的每个需要变异的cell块随机生成一个随机数 若 ,则采用随机变异的方式即随机从$S$中选择一个cell。若 则利用基于FLOPS(每秒浮点运算次数)归一化的赌轮盘方式进行选择变异。若 则利用基于参数数量归一化的赌轮盘方式进行选择变异。而对于整体的cell组成连接结构则利用RNN构成的控制器作为强化模型进行选择变异。结构图如下 最后一层输入由前面所有的嵌入层向量拼接而成通过一个三层的全连接网络输出最后输出的全连接神经元数量为 表示连接的概率关系。模型由两个参数组成LSTM参数 和全连接层参数 最后的梯度函数如下:其中 表示原始连接状态 为输出 为奖励可为其他变量不变的情况替换对于的cell或者宏观连接方式的PNSR值。训练得到的网络分别对宏观结构进行变异。6.令 ,将得到的种群与新父种群合并得到种群 ,重复步骤2总结NAS可以帮助我们自动构建神经网络结构只要数据足够就能够得到足够优秀的网络。人也不失为经历这一过程通过数据自动识别各种物体然后最后把识别的知识综合起来做推理。这篇论文提供了NAS的一种设计方式以cell块为主从微观和宏观空间上定义搜索空间并对其进行编码以NSGA-II算法作为优化算法之后组合得到理想的网络结构。参考文献Fast, Accurate and Lightweight Super-Resolution with Neural Architecture Searchhttps://www.jianshu.com/p/ae5157c26af9https://www.cnblogs.com/bnuvincent/p/5268786.htmlhttps://blog.csdn.net/weixin_43202635/article/details/82708916Improved Crowding Distance for NSGA-II