网站设计的工作要求,360crm客户管理系统,一般上什么网站,毕设什么类型网站容易做问题预览/关键词 梯度下降不正常工作的曲线是什么样子#xff1f;如何调试学习率来检测代码中的bug#xff1f;学习率过小的后果是#xff1f;如何选择学习率#xff1f; 笔记 1.曲线错误的样子 曲线没有逐步递减#xff0c;由于学习率选择过大或代码有bug。 2.调试…问题预览/关键词 梯度下降不正常工作的曲线是什么样子如何调试学习率来检测代码中的bug学习率过小的后果是如何选择学习率 笔记 1.曲线错误的样子 曲线没有逐步递减由于学习率选择过大或代码有bug。 2.调试学习率检测代码 将α设置成一个很小的数看看每次迭代成本函数是否减小如果依旧不减小则代码有问题。 3.学习率过小 梯度下降需要更多次迭代来收敛影响性能。 4.选择学习率 先尝试0.001然后乘3倍选择呢0.003依次尝试直到曲线变的合适且最大或比最大小一点的α。 总结 学习率不是直接获取的我们需要尝试不同的数值通过绘制迭代次数-成本函数曲线来检测α的值是否合适。如果曲线是波动的一会上升一会下降则学习率选择过大。如果曲线持续上升则代码可能出bugw参数的更新写成了加法。我们需要尝试多个数值的学习率合适的学习率会让曲线持续下降在这些合适的学习率中选择一个最大的或比最大小一点点的学习率。