PyTorch系列教程：编写高效模型训练流程

当使用PyTorch开发机器学习模型时，建立一个有效的训练循环是至关重要的。这个过程包括组织和执行对数据、参数和计算资源的操作序列。让我们深入了解关键组件，并演示如何构建一个精细的训练循环流程，有效地处理数据处理，向前和向后传递以及参数更新。

模型训练流程

PyTorch训练循环流程通常包括：

  • 加载数据
  • 批量处理
  • 执行正向传播
  • 计算损失
  • 反向传播
  • 更新权重

一个典型的训练流程将这些步骤合并到一个迭代过程中，在数据集上迭代多次，或者在训练的上下文中迭代多个epoch。
在这里插入图片描述

1. 搭建环境

在编写代码之前，请确保在本地环境中设置了PyTorch。这通常需要安装PyTorch和其他依赖项：

pip install torch torchvision

下面演示为建立一个有效的训练循环奠定了基本路径的示例。

2. 数据加载

数据加载是使用DataLoader完成的，它有助于数据的批量处理：

import torch
from torch.utils.data import DataLoader
from torchvision import datasets, transformstransform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5,), (0.5,))
])
data_train = datasets.MNIST(root='data', train=True, download=True, transform=transform)
train_loader = DataLoader(data_train, batch_size=64, shuffle=True)

DataLoader在这里被设计为以64个为单位的批量获取数据，在数据传递中进行随机混淆。

3. 模型初始化

一个使用PyTorch的简单神经网络定义如下：

import torch.nn as nn
import torch.nn.functional as Fclass SimpleNN(nn.Module):def __init__(self):super(SimpleNN, self).__init__()self.fc1 = nn.Linear(784, 128)self.fc2 = nn.Linear(128, 64)self.fc3 = nn.Linear(64, 10)def forward(self, x):x = x.view(-1, 784)x = F.relu(self.fc1(x))x = F.relu(self.fc2(x))x = self.fc3(x)return F.log_softmax(x, dim=1)

这里，784指的是输入维度（28x28个图像），并创建一个输出大小为10个类别的顺序前馈网络。

4. 建立训练循环

定义损失函数和优化器：为了改进模型的预测，必须定义损失和优化器：

import torch.optim as optimmodel = SimpleNN()
criterion = nn.NLLLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

5. 实现训练循环

有效的训练循环的本质在于正确的步骤顺序：

epochs = 5
for epoch in range(epochs):running_loss = 0for images, labels in train_loader:optimizer.zero_grad()  # Zero the parameter gradientsoutput = model(images)  # Forward passloss = criterion(output, labels)  # Calculate lossloss.backward()  # Backward passoptimizer.step()  # Optimize weightsrunning_loss += loss.item()print(f"Epoch {epoch+1}/{epochs} - Loss: {running_loss/len(train_loader)}")

注意，每次迭代都需要重置梯度、通过网络处理输入、计算误差以及调整权重以减少该误差。

性能优化

使用以下策略提高循环效率：

  • 使用GPU：将计算转移到GPU上，以获得更快的处理速度。如果GPU可用，使用to（‘cuda’）转换模型和输入。

  • 数据并行：利用多gpu设置与dataparlele模块来分发批处理。

  • FP16训练：使用自动混合精度（AMP）来加速训练并减少内存使用，而不会造成明显的精度损失。

在 PyTorch 中使用 FP16（半精度浮点数）训练 可以显著减少显存占用、加速计算，同时保持模型精度接近 FP32。以下是详细指南：

1. FP16 的优势

  • 显存节省：FP16 占用显存是 FP32 的一半（例如，1024MB 显存在 FP32 下可容纳约 2000 万参数，在 FP16 下可容纳约 4000 万）。
  • 计算加速：NVIDIA 的 Tensor Core 支持 FP16 矩阵运算，速度比 FP32 快数倍至数十倍。
  • 适合大规模模型：如 Transformer、Vision Transformer（ViT）等参数量大的模型。

2. 实现 FP16 训练的两种方式

(1) 自动混合精度（Automatic Mixed Precision, AMP）

PyTorch 的 torch.cuda.amp 自动管理 FP16 和 FP32，减少手动转换的复杂性。

python

import torch
from torch.cuda.amp import autocast, GradScalermodel = model.to("cuda")  # 确保模型在 GPU 上
optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3)
scaler = GradScaler()  # 梯度缩放器for data, target in dataloader:data = data.to("cuda").half()  # 输入转为 FP16target = target.to("cuda")with autocast():  # 自动切换 FP16/FP32 计算output = model(data)loss = criterion(output, target)scaler.scale(loss).backward()  # 梯度缩放scaler.step(optimizer)         # 更新参数scaler.update()               # 重置缩放器

关键点：

  • autocast() 内部自动将计算转换为 FP16（若 GPU 支持），梯度累积在 FP32。
  • GradScaler() 解决 FP16 下梯度下溢问题。
(2) 手动转换（低级用法）

直接将模型参数、输入和输出转为 FP16，但需手动管理精度和稳定性。

python

model = model.half()  # 模型参数转为 FP16
for data, target in dataloader:data = data.to("cuda").half()  # 输入转为 FP16target = target.to("cuda")output = model(data)loss = criterion(output, target)optimizer.zero_grad()loss.backward()optimizer.step()

缺点：

  • 可能因数值不稳定导致训练失败（如梯度消失）。
  • 不支持动态精度切换（如部分层用 FP32）。

3. FP16 训练的注意事项

(1) 设备支持
  • NVIDIA GPU：需支持 Tensor Core（如 Volta 架构以上的 GPU，包括 Tesla V100、A100、RTX 3090 等）。
  • AMD GPU：部分型号支持 FP16 计算，但 AMP 功能受限（需使用 torch.backends.cudnn.enabled = False）。
(2) 学习率调整
  • FP16 的初始学习率通常设为 FP32 的 2~4 倍（因梯度放大），需配合学习率调度器（如 CosineAnnealingLR）。
(3) 损失缩放（Loss Scaling）

  • FP16 的梯度可能过小，导致update() 时下溢。解决方案：

    • 自动缩放：使用 GradScaler()（推荐）。
    • 手动缩放：将损失乘以一个固定因子（如 1e4），反向传播后再除以该因子。
(4) 模型初始化
  • FP16 参数初始化值不宜过大，否则可能导致 nan。建议初始化时用 FP32，再转为 FP16。
(5) 检查数值稳定性
  • 训练过程中监控损失是否为 nan 或无穷大。
  • 可通过 torch.set_printoptions(precision=10) 打印中间结果。

4. FP16 vs FP32 精度对比

模型FP32 精度损失FP16 精度损失
ResNet-18微小可忽略
BERT-base微小~1-2%
GPT-2微小~3-5%

结论：多数任务中 FP16 的精度损失可接受，但需通过实验验证。

5. 常见错误及解决

错误现象解决方案
RuntimeError: CUDA error: out of memory减少 batch size 或清理缓存 (torch.cuda.empty_cache())
nan 或 inf调整学习率、检查数据预处理、启用梯度缩放
InvalidArgumentError确保输入数据已正确转换为 FP16
  • 推荐使用 autocast + GradScaler：平衡易用性和性能。
  • 优先在 NVIDIA GPU 上使用：AMD GPU 的 FP16 支持较弱。
  • 从小批量开始测试：避免显存不足或数值不稳定。

通过合理配置，FP16 可以在几乎不损失精度的情况下显著提升训练速度和显存利用率。

最后总结

高效的训练循环为优化PyTorch模型奠定了坚实的基础。通过遵循适当的数据加载过程，模型初始化过程和系统的训练步骤，你的训练设置将有效地利用GPU资源，并通过数据集快速迭代，以构建健壮的模型。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/71729.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

LeetCode Hot100刷题——反转链表（迭代+递归）

LeetCode Hot100刷题——反转链表（迭代+递归）

206.反转链表 给你单链表的头节点 head ，请你反转链表，并返回反转后的链表。 示例 1： 输入：head [1,2,3,4,5] 输出：[5,4,3,2,1]示例 2： 输入：head [1,2] 输出：[2,1]示例 3&#…
阅读更多...
机器学习的发展史

机器学习的发展史

机器学习（Machine Learning, ML）作为人工智能（AI）的一个分支，其发展经历了多个阶段。以下是机器学习的发展史概述： 1. 早期探索（20世纪50年代 - 70年代） 1950年：艾伦图…
阅读更多...
Springboot redis bitMap实现用户签到以及统计，保姆级教程

Springboot redis bitMap实现用户签到以及统计，保姆级教程

项目架构，这是作为demo展示使用： Redis config： package com.zy.config;import com.fasterxml.jackson.annotation.JsonAutoDetect; import com.fasterxml.jackson.annotation.PropertyAccessor; import com.fasterxml.jackson.databind.Ob…
阅读更多...
Ardupilot开源无人机之Geek SDK进展2025Q1

Ardupilot开源无人机之Geek SDK进展2025Q1

Ardupilot开源无人机之Geek SDK进展2025Q1 1. 源由2. 内容汇总2.1 【jetson-fpv】YOLO INT8 coco8 dataset 精度降级2.2 【OpenIPC-Configurator】OpenIPC Configurator 固件升级失败2.3 【OpenIPC-Adaptive-link】OpenIPC RF信号质量相关显示2.4 【OpenIPC-msposd】.srt/.osd…
阅读更多...
《云原生监控体系构建实录：从Prometheus到Grafana的观测革命》

《云原生监控体系构建实录：从Prometheus到Grafana的观测革命》

PrometheusGrafana部署配置 Prometheus安装 下载Prometheus服务端 Download | PrometheusAn open-source monitoring system with a dimensional data model, flexible query language, efficient time series database and modern alerting approach.https://prometheus.io/…
阅读更多...
SpringMvc与Struts2

SpringMvc与Struts2

一、Spring MVC 1.1 概述 Spring MVC 是 Spring 框架的一部分，是一个基于 MVC 设计模式的轻量级 Web 框架。它提供了灵活的配置和强大的扩展能力，适合构建复杂的 Web 应用程序。 1.2 特点 轻量级：与 Spring 框架无缝集成，依赖…
阅读更多...
数据类设计_图片类设计之1_矩阵类设计(前端架构基础)

数据类设计_图片类设计之1_矩阵类设计(前端架构基础)

前言 学的东西多了,要想办法用出来.C和C是偏向底层的语言,直接与数据打交道.尝试做一些和数据方面相关的内容 引入 图形在底层是怎么表示的,用C来表示 认识图片 图片是个风景,动物,还是其他内容,人是可以看出来的.那么计算机是怎么看懂的呢?在有自主意识的人工智能被设计出来…
阅读更多...
开发者社区测试报告(功能测试+性能测试)

开发者社区测试报告(功能测试+性能测试)

功能测试 测试相关用例 开发者社区功能背景 在当今数字化时代，编程已经成为一项核心技能，越来越多的人开始学习编程，以适应快速变化的科技 环境。基于这一需求，我设计开发了一个类似博客的论坛系统，专注于方便程序员…
阅读更多...
EasyRTC嵌入式音视频通话SDK：基于ICE与STUN/TURN的实时音视频通信解决方案

EasyRTC嵌入式音视频通话SDK：基于ICE与STUN/TURN的实时音视频通信解决方案

在当今数字化时代，实时音视频通信技术已成为人们生活和工作中不可或缺的一部分。无论是家庭中的远程看护、办公场景中的远程协作，还是工业领域的远程巡检和智能设备的互联互通，高效、稳定的通信技术都是实现这些功能的核心。 EasyRTC嵌入式音…
阅读更多...
【OneAPI】网页截图API-V2

【OneAPI】网页截图API-V2

API简介 生成指定URL的网页截图或缩略图。 旧版本请参考：网页截图 V2版本新增全屏截图、带壳截图等功能，并修复了一些已知问题。 全屏截图： 支持全屏截图，通过设置fullscreentrue来支持全屏截图。全屏模式下，系统…
阅读更多...
简单的 Python 示例，用于生成电影解说视频的第一人称独白解说文案

简单的 Python 示例，用于生成电影解说视频的第一人称独白解说文案

以下是一个简单的 Python 示例，用于生成电影解说视频的第一人称独白解说文案。这个示例使用了 OpenAI 的 GPT 模型，因为它在自然语言生成方面表现出色。 实现思路 安装必要的库：使用 openai 库与 OpenAI API 进行交互。设置 API 密钥&#…
阅读更多...
记录小白使用 Cursor 开发第一个微信小程序（一）：注册账号及下载工具（250308）

记录小白使用 Cursor 开发第一个微信小程序（一）：注册账号及下载工具（250308）

文章目录 记录小白使用 Cursor 开发第一个微信小程序（一）：注册账号及下载工具（250308）一、微信小程序注册摘要1.1 注册流程要点 二、小程序发布流程三、下载工具 记录小白使用 Cursor 开发第一个微信小程序&#xff08…
阅读更多...
六轴传感器ICM-20608

六轴传感器ICM-20608

ICM-20608-G是一个6轴传感器芯片，由3轴陀螺仪和3轴加速度计组成。陀螺仪可编程的满量程有：250，500，1000和2000度/秒。加速度计可编程的满量程有：2g，4g，8g和16g。学习Linux之SPI之前，…
阅读更多...
python可應用在金融分析的那一個方面，如何部署在linux server上面。

python可應用在金融分析的那一個方面，如何部署在linux server上面。

Python 在金融分析中應用廣泛，以下是幾個主要方面： ### 1. **數據處理與分析** - 使用 **Pandas** 和 **NumPy** 等庫來處理和分析大規模數據集，進行清理、轉換和統計運算。 - 舉例：處理歷史市場數據，分析價格趨…
阅读更多...
Git与GitHub：理解两者差异及其关系

Git与GitHub：理解两者差异及其关系

目录 Git与GitHub：理解两者差异及其关系Git：分布式版本控制系统概述主要特点 GitHub：基于Web的托管服务概述主要特点 Git和GitHub如何互补关系现代开发工作流 结论 Git与GitHub：理解两者差异及其关系 Git：分布式版本控…
阅读更多...
STM32全系大阅兵（1）

STM32全系大阅兵（1）

本文内容参考： STM32家族系列的区别_stm32各个系列区别-CSDN博客 STM32--STM32 微控制器详解-CSDN博客
阅读更多...
clickhouse删除一条数据

clickhouse删除一条数据

在当今数据驱动的世界中，ClickHouse作为一种高性能的列式数据库管理系统，广泛应用于需要快速分析大量数据的场景。也许对于初学者来说，掌握如何有效地管理数据，包括添加、更新和删除数据，是使用ClickHouse进行数据分析…
阅读更多...
std::vector的模拟实现

std::vector的模拟实现

目录 构造函数 无参构造 用n个val来初始化的拷贝构造 拷贝构造 用迭代器初始化 析构函数 reserve resize pushback pop_back 迭代器及解引用 迭代器的实现 解引用[ ] insert erase 赋值拷贝 补充 vector底层也是顺序表，但是vector可以储存不同的类…
阅读更多...
蓝桥杯刷题周计划（第二周）

蓝桥杯刷题周计划（第二周）

目录 前言题目一题目代码题解分析 题目二题目代码题解分析 题目三题目代码题解分析 题目四题目代码题解分析 题目五题目代码题解分析 题目六题目代码题解分析 题目七题目代码题解分析 题目八题目题解分析 题目九题目代码题解分析 题目十题目代码题解分析 题目十一题目代码题解分…
阅读更多...
clion+arm-cm3+MSYS-mingw +jlink配置用于嵌入式开发

clion+arm-cm3+MSYS-mingw +jlink配置用于嵌入式开发

0.前言 正文可以跳过这段 初识clion，应该是2015年首次发布的时候， 那会还是大三，被一则推介广告吸引到，当时还在用vs studio，但是就喜欢鼓捣新工具，然后下载安装试用了clion，但是当时对cmake规…
阅读更多...
最新文章

Copyright @ 2022~2023