加载和保存模型参数

保存模型参数

net = MLP()
# 此处省略训练过程，在训练之后，保存模型参数
# 保存字典格式的模型参数，模型参数名
torch.save(net.state_dict(), 'mlp.params') 

加载模型参数

clone = MLP()
# 加载模型参数
clone.load_state_dict(torch.load('mlp.params'))
# 进入评估模式
clone.eval()
# 开始推理
Y_clone = clone(X)

kaggle CIFAR-10图像分类笔记

对数据集的处理

train: 训练集

train_valid: 训练集中的验证集，每个epoch结束后使用它进行验证。

test: 模型所有轮训练结束后，使用它来进行测试。

valid: 验证集，评估在未见过的数据上的数据集。

损失函数

loss = nn.CrossEntropyLoss(reduction='none')reduction的字面意思是“减少”或“缩减”，指的是对损失进行某种操作以减小或简化损失的计算。当reduction='none'时，表示不进行任何归约操作，即每个样本的损失都单独计算并返回。当reduction='sum'时，表示对所有样本的损失进行求和操作，得到一个标量值，表示所有样本损失的总和。当reduction='elementwise_mean'时，表示对所有样本的损失进行平均操作，得到一个标量值，表示所有样本损失的平均值。

lr_period, lr_decay = 4, 0.9 的含义

lr_period = 4: lr_period表示学习率更新的周期。设置为4可能意味着在每4个epoch后更新学习率。lr_decay = 0.9: lr_decay表示学习率的衰减率。这里设置为0.9，意味着每次更新学习率时，学习率会乘以0.9，从而逐渐降低学习率。