1.loos_spike(损失尖刺)
解决办法: 1.梯度裁剪:对L2范数设置上限,防止爆炸
2.学习率调度,采用warm-up或动态调整学习率
3.辅助损失、正则化
4.混合精度训练
5.数据清洗,批次归一化
解决办法: 1.梯度裁剪:对L2范数设置上限,防止爆炸
2.学习率调度,采用warm-up或动态调整学习率
3.辅助损失、正则化
4.混合精度训练
5.数据清洗,批次归一化
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/955848.shtml
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!