专门做spa的网站,asp个人网站论文,广东省三库一平台查询系统,怎么制作图片文件结论#xff1a;调大学习率或者调小多卡GPU的batch_size 转换DDP模型后模型的整体学习率和batch_size都要变。 当前配置#xff1a;#xff1a;1GPU#xff1a;学习率0.1#xff0c;batch_size64 如果8GPU还按之前1GPU配置#xff1a;8GPU#xff1a;学习率0.1#x…结论调大学习率或者调小多卡GPU的batch_size 转换DDP模型后模型的整体学习率和batch_size都要变。 当前配置1GPU学习率0.1batch_size64 如果8GPU还按之前1GPU配置8GPU学习率0.1batch_size64 那么此时对于8GPU而言效果几乎等于1GPU学习率0.1batch_size64 * 8512 这种8GPU情况下batch_size等效变大效果就差了参考Goyal et al 解决方法是调大学习率或者调小多卡GPU的batch_size 比如上面调大学习率改为 8GPU学习率0.1 * 80.8batch_size64 或 学习率0.1 * √8 √8 batch_size64 或者调小batch_size 8GPU学习率0.1batch_size8 参考 https://github.com/Lightning-AI/pytorch-lightning/discussions/3706https://arxiv.org/pdf/1706.02677.pdf