电子商务网站建设课设学生体会,网站推广赚钱吗,网站301跳转怎么做,做自由行的网站怎样区分好用的特征 避免无意义的信息避免重复性的信息避免复杂的信息 激活函数的选择 浅层神经网络#xff0c;可以随便尝试各种激活函数 深层神经网络#xff0c;不可随机选择各种激活函数#xff0c;这涉及到梯度爆炸和梯度消失。#xff08;给出梯度爆炸和梯度消失的…怎样区分好用的特征 避免无意义的信息避免重复性的信息避免复杂的信息 激活函数的选择 浅层神经网络可以随便尝试各种激活函数 深层神经网络不可随机选择各种激活函数这涉及到梯度爆炸和梯度消失。给出梯度爆炸和梯度消失的度量来判别激活函数的效果 卷积神经网络推荐的激活函数是 relu 循环神经网络推荐的激活函数是relu or tanh 加速神经网络训练 Stochastic Gradient Descent (SGD) 批量数据可加速训练过程不会丢失太多信息 Momentum 惯性原则 W - Learning rate * dx 这种方法可以让学习过程曲折无比。 从平地到斜坡上来进行学习。 m b1 *m - Learning rate *dx W m AdaGrad: 学习率 对错误方向的阻力 W - Learning rate * dx 给一双破鞋子使得当摇晃走的时候会感觉到不舒服变成了走弯路的阻力逼着的往前走。 v dx^2 W -Learning rate*dx/squrt(v) RMSProp W - Learning rate * dx Momentum(m b1*m - Learning rate * dx) AdaGrad(v dx^2) v b1*v (1-b1)*dx^2 W -Learning rate*dx/squrt(v) Adam: 下坡和破鞋子 m b1*m (1-b1)*dx (Momentum)下坡属性 v b2*v (1-b2)*dx^2 (AdaGrad)阻力属性 W -Learning rate*dx/squrt(v) 处理不均衡数据 永远总是猜测多数派。 1.获取更多的数据 2. 换个评判方式 准确率Accuracy和误差(cost) 》》》》》》》》》》》》 confusion Matrix Precision Recall F1 Score (0r F-score) 这种方式可以更好区分不均衡数据给出更好的评判。 3. 重组数据复制上采样下采样。 4. 其他机器学习方法decision tree 对不均衡数据不敏感 5. 修改算法 修改权重。 特征数据标准化 特征数据的标准化归一化。 预测价格 a * 离市中心距离 b* 楼层 c* 面积 a, b, c 就是需要学习的参数。 误差 预测 - 实际价格。 离市中心的数值范围 010 km 楼层的数值范围 130 层 面积范围 0 200 m^2 说白了就是不同维度的尺度不一样。这样就会导致每个维度对最终预测价格的影响严重不一样。 方法 minmax normalization (0,1) std normalization (mean 0, std 1) 加快学习速度避免学出来的模型扭曲。 Batch Normalization 批标准化 对不同数据进行 BN。对不同维度进行的是归一化。 输入数据 X 全连接层 激活函数 全连接层 ——- 输入数据 X 全连接层 BN 激活函数 全连接层—– 过拟合 自负 过拟合 对训练数据过于自信。而不能表达训练数据之外的数据。说白了就是学习出来的模型的泛化性太差。 增加数据量正规化 L1 L2Dropout regularization Y WX, 在过拟合中W一般变化比较大。那么可以将W的变化添加到损失函数来约束W的变化。 L1: cost (WX - realy)^2 abs(WX) L2: cost (WX - realy)^2 (W)^2 L1 L2 正规化 误差 J(theta) [y_theata(x) - y]^2 L2 正则化误差 J(theta) [y_theata(x) - y]^2 [theata_1^2 theata_2^2 ……] L1 正则化误差 J(theta) [y_theata(x) - y]^2 [|theata_1| |theata_2| ……] 这样最终的误差不仅取决于 拟合数据的好坏还取决于拟合参数值的大小。 L1 的解 不稳定 控制正规化的强度。用交叉验证来选择比较好的lamb 强化学习Reinforcement Learning 分数导向性。 强化学习没有数据和标签通过一次次在环境中尝试来 获取数据和标签。 而监督学习一开始就有数据和标签。 通过价值选行为 Q Learning 表格学习 Sarsa 表格学习 Deep Q Network 神经网络 直接选行为 Policy Gradients 想象环境并从中学习 Model based RL 从虚拟环境中学习 强化学习方法汇总Reinforcement Learning 基于连续动作 结合 Q Learning 行为准则 Q Learning 的示例 Q Learning 的决策过程 Q Learning 的Q表的提升过程 Q Learning 理解 Sarsa Sarsa与 Q Learning极其相似 Sarsa 的Q表的提升过程 Q Learning Q表的提升过程 而 Sarsa的Q表的提升过程 Sarsa(lambda) (Reinforcement Learning) * DQN (Reinforcement Learning)* Q Learning 神经网络的训练过程 Policy Gradients (Reinforcement Learning) 无误差用奖惩来选择 Actor Critic (Reinforcement Learning) 参考文献 莫烦课程主页 莫烦-机器学习 莫烦机器学习原来可以很简单-知乎 莫烦知乎专栏