丽江市网站建设制作,学校校园网网站建设预算,wordpress升级无法创建目录,平板做网站服务器文章目录 1. 基于神经网络计算心理健康程度2. 添加激活函数的神经网络计算3. 使用神经网络预测小胖是否会变胖4. 激活函数选择的讨论5. 神经网络的设计6. 深度线性模型的表达能力线性模型7. 神经网络退化 主要讨论的内容 什么是人工神经网络#xff0c;相关计算反向传播算法的… 文章目录 1. 基于神经网络计算心理健康程度2. 添加激活函数的神经网络计算3. 使用神经网络预测小胖是否会变胖4. 激活函数选择的讨论5. 神经网络的设计6. 深度线性模型的表达能力线性模型7. 神经网络退化 主要讨论的内容 什么是人工神经网络相关计算反向传播算法的原理并会计算常用的优化器有哪些了解几个典型的优化器4种权值初始化的方法有哪些以及适应场景Xavier、Kaiming权值共享的基本原理是什么 1. 基于神经网络计算心理健康程度 其实就是计算矩阵相乘注意是线性层的转置 2. 添加激活函数的神经网络计算 ReLU函数数学表达式 R e L U ( x ) max ⁡ ( 0 , x ) ReLU(x)\max(0,x) ReLU(x)max(0,x)当(x 0)时 R e L U ( x ) x ReLU(x)x ReLU(x)x当 x ⩽ 0 x\leqslant0 x⩽0时 R e L U ( x ) 0 ReLU(x) 0 ReLU(x)0。 注意是矩阵计算之后再叠加ReLU函数。 3. 使用神经网络预测小胖是否会变胖 4. 激活函数选择的讨论 在神经网络中优化主要通过反向传播算法来实现。反向传播算法依赖于计算损失函数对网络中各参数的梯度然后根据梯度来更新参数以最小化损失函数。 Sigmoid函数的问题 Sigmoid函数的表达式为 y 1 1 e − x y \frac{1}{1 e^{-x}} y1e−x1​其导数为 y ′ y ( 1 − y ) yy(1 - y) y′y(1−y)。当 x x x的值远离0时即 x x x很大或很小Sigmoid函数的输出会趋近于0或1。此时Sigmoid函数的导数 y ′ y y′会趋近于0。在反向传播过程中梯度是通过链式法则逐层传递的。如果某一层的激活函数的导数非常小那么在反向传播时梯度会变得更小导致梯度消失问题。这会使得网络的训练变得非常缓慢甚至无法收敛。 ReLU函数的优势 ReLU函数的表达式为 y max ⁡ ( 0 , x ) y\max(0,x) ymax(0,x)。 当(x 0)时ReLU函数的导数为1当 x ≤ 0 x \leq 0 x≤0时导数为0。ReLU函数的梯度在(x0)的区域非常容易计算恒为1这使得在反向传播过程中梯度能够较为稳定地传递不会出现梯度消失的问题。这对于优化算法来说是非常方便的能够加快网络的训练速度。 综上所述从优化的角度来看由于Sigmoid函数在远离0点时导数非常小会影响优化过程而ReLU函数的梯度容易计算对优化过程非常方便所以在实际应用中人们会优先选择ReLU作为激活函数而不是Sigmoid。 5. 神经网络的设计 分析这个问题描述了一种针对已经训练好的神经网络 f f f的攻击场景。给定一个类别为 y y y的图像 x x x通过优化一个小的扰动 δ \delta δ使得 x ′ x δ x x\delta x′xδ在视觉上与 x x x几乎相同但神经网络 f f f却错误地将 x ′ x x′分类为非 y y y类别。问题询问这种精心构造的 x ′ x x′是否会对神经网络的准确性产生负面影响。 肯定是弊端 对神经网络准确性的破坏在实际应用中神经网络的准确性至关重要。例如在图像分类中如果攻击者能够找到这样的 δ \delta δ那么他们可以轻易地误导神经网络做出错误的分类。实际应用中的危害 自动驾驶场景在自动驾驶应用中如果攻击者对交通标志进行微小的、人眼难以察觉的修改相当于找到合适的 δ \delta δ可能会导致自动驾驶汽车误判交通标志从而做出错误的驾驶决策甚至引发交通事故。安防监控场景在安防监控领域如果攻击者能够对监控图像进行类似的修改可能会使监控系统无法正确识别人员或物体导致安防漏洞。 可能不是弊端在某些特定场景下从研究和防御的角度 如果从研究和防御的角度来看这种现象也可以促使研究人员深入研究对抗攻击和防御机制。例如研究人员可以通过研究这种攻击方式开发出更强大的防御算法来提高神经网络的鲁棒性。这种攻击方式可以被看作是对神经网络的一种压力测试通过发现这些潜在的漏洞可以促使技术不断进步使神经网络在面对各种攻击时更加稳健。 6. 深度线性模型的表达能力线性模型 7. 神经网络退化 神经网络的基本结构一般的神经网络由输入层、若干隐藏层和输出层组成。每一层都有若干神经元神经元之间通过权重连接。输入数据经过多层的加权计算和激活函数的变换最终得到输出。 Logistic回归是一种用于二分类问题的线性模型。它的数学表达式为 y 1 1 e − ( w T x b ) y \frac{1}{1 e^{-(w^T x b)}} y1e−(wTxb)1​其中 w w w是权重向量 x x x是输入向量 b b b是偏置项。这个表达式中的 1 1 e − z \frac{1}{1 e^{-z}} 1e−z1​部分就是Sigmoid函数。   当神经网络只有一层且激活函数为Sigmoid函数时设输入为 x x x权重为 w w w偏置为 b b b那么这一层的输出就是 y σ ( w T x b ) y\sigma(w^T x b) yσ(wTxb)其中 σ \sigma σ是Sigmoid函数。这与Logistic回归的表达式完全相同。也就是说这种情况下的神经网络实际上就是在做Logistic回归。