做好的网站,php网站文件下载怎么做,网站建设 硬件投入,pc网站优化排名软件Backpropagation计算过程举例 初始权重(initialize weights)是随机产生的(如-1~1之间) 初始化可以选择均值为0#xff0c;方差为1/n_in的正态分布#xff0c;n_in为输入的实例个数#xff0c;Python中可使用np.random.normal函数来初始化权重#xff1a; np.random.normal…Backpropagation计算过程举例 初始权重(initialize weights)是随机产生的(如-1~1之间) 初始化可以选择均值为0方差为1/n_in的正态分布n_in为输入的实例个数Python中可使用np.random.normal函数来初始化权重 np.random.normal(0, 1/3, size(2, 3))初始化了均值为0方差为1/3的2行3列矩阵对应输入层3个结点、隐藏层2个结点的情况 正向计算结点值 X为实例向量w为权重θ为偏向(bias)对于input layer是没有偏向的其他偏向θ值可以定在-0.5~0.5之间 如下图 由node4对应所有实例计算出的结果(0.332)即是node4对应的的值 最开始所有层wb都会初始化一个值 以下[3,2,1]的神经元结构为例input layer为所有x值每一个结点代表一个x的值 如node4 x1 * w14 x2 * w24 x3 * w34 θ4 0.20-0.5-0.4-0.7相当于中间变量Z或activation a θ为偏向bias算出来node4-0.7也就是node4对于output的输入值 反向更新权重和偏向 利用公式计算每一个结点的error 输出层node6的error计算 T表示实际值O表示最终输出值下标 j 表示结点的索引值 隐藏层的node4和node5的error计算 j 表示当前层的某个结点k表示与之连线的下一层的结点因此对于node4其Err_k即为node6的error值w_ij为当前结点与下一结点的连接权重node5同理 更新weight的公式 其中l为学习率其余的参数同上面error计算的参数一致 更新bias的公式