注册域名哪个网站好,怎么在百度做原创视频网站,杭州滨江区抖音seo行情,网站建设销售经理职责关注小夕并星标#xff0c;解锁自然语言处理搜索、推荐与算法岗求职秘籍文 | 苏剑林#xff08;追一科技#xff0c;人称苏神#xff09;美 | 人美心细小谨思密达前言这篇文章简单介绍一个叫做AdaX的优化器#xff0c;来自《AdaX: Adaptive Gradient Descent with Exponen… 关注小夕并星标解锁自然语言处理搜索、推荐与算法岗求职秘籍文 | 苏剑林追一科技人称苏神美 | 人美心细小谨思密达前言这篇文章简单介绍一个叫做AdaX的优化器来自《AdaX: Adaptive Gradient Descent with Exponential Long Term Memory》。介绍这个优化器的原因是它再次印证了之前在《硬核推导Google AdaFactor一个省显存的宝藏优化器》一文中提到的一个结论两篇文章可以对比着阅读。Adam AdaXAdaX的更新格式是其中的默认值是0.0001。对了顺便附上自己的Keras实现https://github.com/bojone/adax 作为比较Adam的更新格式是其中的默认值是0.999。等价形式变换可以看到两者的第一个差别是AdaX去掉了动量的偏置校正这一步但这其实影响不大AdaX最大的改动是在处本来是滑动平均格式而不像是滑动平均了而且似乎有指数爆炸的风险原论文称之为“with Exponential Long Term Memory”就是指β导致历史累积梯度的比重不会越来越小反而会越来越大这就是它的长期记忆性。事实上学习率校正用的是所以有没有爆炸我们要观察的是。对于Adam我们有所以如果设那么更新公式就是基于同样的道理如果设那么AdaX的的更新公式也可以写成上式。衰减策略比较所以从真正用来校正梯度的来看不管是Adam还是AdaX其更新公式都是滑动平均的格式只不过对应的衰减系数不一样。对于Adam来说当时t 0这时候就是也就是用实时梯度来校正学习率这时候校正力度最大当时这时候是累积梯度平方与当前梯度平方的加权平均由于所以意味着当前梯度的权重不为0这可能导致训练不稳定因为训练后期梯度变小训练本身趋于稳定校正学习率的意义就不大了因此学习率的校正力度应该变小并且学习率最好恒定为常数这时候相当于退化为SGD这就要求时。对于AdaX来说当t 0时当满足上述的理想性质因此从这个角度来看AdaX确实是Adam的一个改进。在AdaFactor中使用的则是它也是从这个角度设计的。至于AdaX和AdaFactor的策略孰优孰劣笔者认为就很难从理论上解释清楚了估计只能靠实验。就这样结束了嗯文章就到这儿结束了。开头就说了本文只是简单介绍一下AdaX因为它再次印证了之前的一个结论——应当满足条件“”这也许会成为日后优化器改进的基本条件之一。萌屋公告喜欢本文的小伙伴们记得扫描下方二维码关注并星标置顶我才能来到你面前哦。卖萌屋妹子们的原创技术干货有 ACL2020学术前沿系列、NLP综述系列、NLP论文清单系列、NLP基础入门系列、搜索与推荐系列、深度学习初/中/高级炼丹技巧、机器学习入门系列、算法岗offer收割系列等。订阅号后台回复【干货】即可打包带走。卖萌屋里有众多顶会审稿人、大厂研究员、知乎大V和美丽小姐姐划掉????‍♀️我们成立了 自然语言处理 / 知识图谱 / 深度学习 / 机器学习 / 校招求职 高质量讨论群订阅号后台回复【入群】即可上车。夕小瑶的卖萌屋_关注星标小夕带你解锁AI秘籍订阅号主页下方「撩一下」有惊喜哦