文章目录
- 1. 什么是过拟合/欠拟合
- 2. 如何防止过拟合
- 3. 如何防止欠拟合
1. 什么是过拟合/欠拟合
- 过拟合：模型在训练集上表现很好，但在测试集上表现很差；即模型的泛化能力差。
- 欠拟合：模型在训练集上表现很差，没有测试的必要。
2. 如何防止过拟合
- 增加训练集：通过使用更多的训练数据提高模型鲁棒性，减少噪声影响。这是解决过拟合的根本性方法
- 数据增强：图像旋转/缩放/裁剪等，作用与增加训练集相同
- 降维：丢弃一些不能帮助我们正确预测的特征
- 选择合适的模型：控制模型的复杂度，比如一般来讲，CNN层数越多效果越好，但是也更容易过拟合
- 正则化：减少模型参数，降低模型复杂度
- 工程技巧：早停（early stopping），Dropout 和 Dropconnect
- 集成学习：降低单一模型的过拟合风险
3. 如何防止欠拟合
- 选择合适的模型：使用更复杂性能更强的模型
- 减小正则化系数
- 添加新特征：当特征不足或现有特征与样本标签相关性不强时，容易出现欠拟合
- 增加模型训练时间直到拟合：一般用不上
)
