Pytorch系列教程：可视化Pytorch模型训练过程

深度学习和理解训练过程中的学习和进步机制对于优化性能、诊断欠拟合或过拟合等问题至关重要。将训练过程可视化的过程为学习的动态提供了有价值的见解，使我们能够做出合理的决策。训练进度必须可视化的两种方法是：使用Matplotlib和Tensor Board。在本文中，我们将学习如何在Pytorch中可视化模型训练进度。

使用Matplotlib在PyTorch中可视化训练进度

Matplotlib是Python中广泛使用的绘图库，它为在Python中创建静态，动画和交互式可视化提供了灵活而强大的工具。它特别适合于创建出版质量的图表。
在这里插入图片描述

**步骤1：**导入必要的库并生成样本数据集

在这一步中，我们将导入必要的库并生成样本数据集。

import torch
import torch.nn as nn
import torch.optim as optim
import matplotlib.pyplot as plt
# Sample data
X = torch.randn(100, 1)  # Sample features
y = 3 * X + 2 + torch.randn(100, 1)  # Sample labels with noise

**步骤2：**定义模型

  1. PyTorch中的LinearRegression类定义了一个简单的线性回归模型。它继承自nn。模块的类，使其成为一个神经网络模型。
  2. 构造函数(__init__方法)初始化模型的结构，创建具有一个输入特征和一个输出特征的单一线性层(‘nn.Linear’)。
  3. 这个线性层被存储为名为 self.linear的属性。“forward”方法定义了如何通过这个线性层处理输入数据“x”以产生模型的输出。
  4. 具体来说，输入x是通过 self.linear，并返回结果输出。该方法封装了神经网络的前向传递计算，决定了模型如何将输入转换为输出。
# Define a simple linear regression model
class LinearRegression(nn.Module):def __init__(self):super(LinearRegression, self).__init__()self.linear = nn.Linear(1, 1)  # One input feature, one outputdef forward(self, x):return self.linear(x)model = LinearRegression()

**步骤3：**定义损失函数、优化器和训练循环

在下面的代码中，我们将均方误差定义为损失函数，将随机梯度下降(SGD)优化器定义为优化器，该优化器通过使用学习率为0.01的计算梯度来修改模型的参数。

# Define loss function and optimizer
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

这段代码运行了一个神经网络模型在多个时代的训练循环，使用梯度下降计算和优化损失。损失值被存储以进行绘图，进度每10次打印一次。

# Training loop
num_epochs = 100
losses = []
for epoch in range(num_epochs):# Forward passoutputs = model(X)loss = criterion(outputs, y)# Backward pass and optimizationoptimizer.zero_grad()loss.backward()optimizer.step()# Print progressif (epoch+1) % 10 == 0:print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')# Store loss for plottinglosses.append(loss.item())

**步骤4：**使用Matplotlib在PyTorch中可视化训练进度

使用下面的代码，我们可以使用matplotlib可视化训练损失曲线。

  • plot(损失)线根据epoch号绘制存储在损失列表中的损失值。
  • x轴表示历元数，y轴表示相应的损失值。
  • plt.xlabel(‘Epoch’), plt.ylabel(‘Loss‘)和plt.xlabel(’Epoch’).title()‘Training Loss’)行设置情节的标签和标题。
  • 最后，plot .show()显示该图，允许您可视化地分析损失如何在训练期间减少(或收敛)。
# Plot the loss curve
plt.plot(losses)
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.title('Training Loss')
plt.show()

通常，您会期望在损失曲线中看到下降的趋势，这表明模型正在随着时间的推移而学习和改进。

完整的代码:

import torch
import torch.nn as nn
import torch.optim as optim
import matplotlib.pyplot as plt# Sample data
X = torch.randn(100, 1)  # Sample features
y = 3 * X + 2 + torch.randn(100, 1)  # Sample labels with noise# Define a simple linear regression model
class LinearRegression(nn.Module):def __init__(self):super(LinearRegression, self).__init__()self.linear = nn.Linear(1, 1)  # One input feature, one outputdef forward(self, x):return self.linear(x)model = LinearRegression()# Define loss function and optimizer
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)# Training loop
num_epochs = 100
losses = []
for epoch in range(num_epochs):# Forward passoutputs = model(X)loss = criterion(outputs, y)# Backward pass and optimizationoptimizer.zero_grad()loss.backward()optimizer.step()# Print progressif (epoch+1) % 10 == 0:print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')# Store loss for plottinglosses.append(loss.item())# Plot the loss curve
plt.plot(losses)
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.title('Training Loss')
plt.show()

在这里插入图片描述

输出图显示了训练损失如何随时间变化，并根据迭代次数绘制。这种可视化使人们能够看到模型在训练时是如何减少损失的。此外，Matplotlib图还有其他东西，如轴标签、标题，可能还有标记或线条，表示特定事件，如最小实现损失或损失急剧下降。

使用TensorBoard可视化训练进度

为了在深度学习模型中可视化训练过程，我们可以使用torch.utils.tensorboard模块中的SummaryWriter类，该模块与TensorFlow开发的可视化工具TensorBoard无缝集成。
在这里插入图片描述

  • 集成：PyTorch在torch.utils.tensorboard模块中提供了一个SummaryWriter类，它与TensorBoard无缝集成以实现可视化。
  • 日志记录：在训练循环中，您可以使用SummaryWriter记录各种指标，如损失，准确性等，以实现可视化。
  • 可视化：TensorBoard提供了记录指标的交互式和实时可视化，允许您动态监控训练进度。
  • 监控：TensorBoard使您能够监控训练的多个方面，例如学习曲线，模型图和权重直方图，为优化您的模型提供见解。

使用以下命令安装TensorBoard库：

pip install tensorboard

步骤1：导入库

import torch
import torch.nn as nn
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

步骤2：定义简单的神经网络

让我们定义SimpleNN一个简单神经网络的类声明，它包含两个完全连接的层，以及定义网络前向传递的forward函数。

# Define a simple neural network
class SimpleNN(nn.Module):def __init__(self):super(SimpleNN, self).__init__()self.fc1 = nn.Linear(784, 128)self.fc2 = nn.Linear(128, 10)def forward(self, x):x = torch.flatten(x, 1)x = torch.relu(self.fc1(x))x = self.fc2(x)return x

步骤3：加载MNIST数据集

让我们加载用于训练的MINST数据，将其分成批次并使用一些预处理技术进行转换。

# Load a smaller subset of MNIST dataset
transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5,), (0.5,))
])train_dataset = torchvision.datasets.MNIST(root='./data', train=True, transform=transform, download=True)
small_train_dataset = torch.utils.data.Subset(train_dataset, range(1000))  # Subset of first 1000 samples
train_loader = DataLoader(small_train_dataset, batch_size=64, shuffle=True)

步骤4：初始化模型、损失函数和优化器

现在，初始化模型。与此同时，我们将使用交叉熵损失函数和adam优化器来更新模型参数。

# Initialize model, loss function, and optimizer
model = SimpleNN()
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

步骤5：初始化用于日志记录的SummaryWriter

SummaryWriter是导入模块的对象，用于编写要在TensorBoard中可视化的日志。

# Initialize SummaryWriter for logging
writer = SummaryWriter('logs_small')

第六步：循环训练

  • 训练循环：通过时代和批次，执行向前传递，计算损失，向后传递和更新模型参数。
  • 日志损失和准确性：记录划时代的训练损失和准确性。
# Training loop
epochs = 5
for epoch in range(epochs):running_loss = 0.0correct = 0total = 0for i, (inputs, labels) in enumerate(train_loader):optimizer.zero_grad()outputs = model(inputs)loss = criterion(outputs, labels)loss.backward()optimizer.step()running_loss += loss.item()# Calculate accuracy_, predicted = torch.max(outputs, 1)total += labels.size(0)correct += (predicted == labels).sum().item()# Log losswriter.add_scalar('Loss/train', loss.item(), epoch * len(train_loader) + i)# Log accuracyaccuracy = 100 * correct / totalwriter.add_scalar('Accuracy/train', accuracy, epoch)print(f'Epoch [{epoch+1}/{epochs}], Loss: {running_loss / len(train_loader)}, Accuracy: {accuracy}%')print('Finished Training')
writer.close()

完整代码：

import torch
import torch.nn as nn
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter# Define a simple neural network
class SimpleNN(nn.Module):def __init__(self):super(SimpleNN, self).__init__()self.fc1 = nn.Linear(784, 128)self.fc2 = nn.Linear(128, 10)def forward(self, x):x = torch.flatten(x, 1)x = torch.relu(self.fc1(x))x = self.fc2(x)return x# Load a smaller subset of MNIST dataset
transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5,), (0.5,))
])train_dataset = torchvision.datasets.MNIST(root='./data', train=True, transform=transform, download=True)
small_train_dataset = torch.utils.data.Subset(train_dataset, range(1000))  # Subset of first 1000 samples
train_loader = DataLoader(small_train_dataset, batch_size=64, shuffle=True)# Initialize model, loss function, and optimizer
model = SimpleNN()
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)# Initialize SummaryWriter for logging
writer = SummaryWriter('logs_small')# Training loop
epochs = 5
for epoch in range(epochs):running_loss = 0.0correct = 0total = 0for i, (inputs, labels) in enumerate(train_loader):optimizer.zero_grad()outputs = model(inputs)loss = criterion(outputs, labels)loss.backward()optimizer.step()running_loss += loss.item()# Calculate accuracy_, predicted = torch.max(outputs, 1)total += labels.size(0)correct += (predicted == labels).sum().item()# Log losswriter.add_scalar('Loss/train', loss.item(), epoch * len(train_loader) + i)# Log accuracyaccuracy = 100 * correct / totalwriter.add_scalar('Accuracy/train', accuracy, epoch)print(f'Epoch [{epoch+1}/{epochs}], Loss: {running_loss / len(train_loader)}, Accuracy: {accuracy}%')print('Finished Training')
writer.close()

运行示例，输出如下：

Epoch [1/5], Loss: 1.8145772516727448, Accuracy: 47.1%
Epoch [2/5], Loss: 1.0121613591909409, Accuracy: 78.8%
Epoch [3/5], Loss: 0.6829517856240273, Accuracy: 84.1%
Epoch [4/5], Loss: 0.5442189555615187, Accuracy: 85.4%
Epoch [5/5], Loss: 0.46599634923040867, Accuracy: 87.0%
Finished Training

TensorBoard提供了一个基于web的仪表板，其中包含代表各种培训方面的选项卡和可视化。标量度量将损失或准确度等值可视化，为训练动态提供了不同的视角。此外，TensorBoard可以显示直方图、嵌入和基于日志信息的专门可视化。

在PyTorch中可视化训练进度

为了运行TensorBoard，你应该打开终端，然后运行tensorboard use命令：

tensorboard --logdir=./logs_small

注意，这里logdir指定上节示例的路径，采用相对路径表示。访问TensorBoard需要：打开浏览器，输入TensorBoard提供的网址（通常为http://localhost:6006/）。

a
b

TensorBoard提供了一个基于web的仪表板，其中包含代表各种培训方面的选项卡和可视化。标量度量将损失或准确度等值可视化，为训练动态提供了不同的视角。此外，TensorBoard可以显示直方图、嵌入和基于日志信息的专门可视化。

在这篇博客中，我们介绍了如何使用matplotlib和tensorboard来可视化深度学习框架的训练过程。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/897594.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

18 | 实现简洁架构的 Handler 层

18 | 实现简洁架构的 Handler 层

提示： 所有体系课见专栏：Go 项目开发极速入门实战课；欢迎加入我的训练营：云原生AI实战营，一个助力 Go 开发者在 AI 时代建立技术竞争力的实战营；本节课最终源码位于 fastgo 项目的 feature/s14 分支&#x…
阅读更多...
蓝队第三次

蓝队第三次

1.了解什么是盲注 盲注（Blind SQL Injection）是SQL注入的一种形式，攻击者无法直接通过页面回显或错误信息获取数据，而是通过观察页面的布尔状态（真/假）或时间延迟来间接推断数据库信息。例如，通…
阅读更多...
sql server 2016 版本补丁说明

sql server 2016 版本补丁说明

包信息和发布类型 Microsoft为创建和分发的 SQL Server 的所有软件更新包采用了标准化命名架构。 软件更新包是一个可执行文件（.exe 或 .msi）文件，其中包含一个或多个文件，这些文件可能应用于 SQL Server 安装以更正特定问题。 …
阅读更多...
STM32之I2C硬件外设

STM32之I2C硬件外设

注意：硬件I2C的引脚是固定的 SDA和SCL都是复用到外部引脚。 SDA发送时数据寄存器的数据在数据移位寄存器空闲的状态下进入数据移位寄存器，此时会置状态寄存器的TXE为1，表示发送寄存器为空，然后往数据控制寄存器中一位一位的移送数…
阅读更多...
从青铜到王者：六大排序算法实战解析

从青铜到王者：六大排序算法实战解析

前言 在编程的世界里，排序算法如同一颗璀璨的明珠，闪耀着智慧的光芒。它不仅是计算机科学的基础知识点，更是每一位程序员必备的技能。今天，就让我们一同走进排序算法的世界，深入探究冒泡排序、选择排序、插入排序、快速排序、归并排序、堆排序这六大经典算法的精髓所在，…
阅读更多...
小程序配置webview

小程序配置webview

1.在微信公众平台配置业务域名 1）包括把校验文件放在服务器根目录 2）配置域名 2.在小程序中 新建文件 小程序新建页面：web-view json配置：{ "pageOrientation": "landscape", "renderer":&qu…
阅读更多...
不用 Tomcat？SpringBoot 项目用啥代替？

不用 Tomcat？SpringBoot 项目用啥代替？

在SpringBoot框架中，我们使用最多的是Tomcat，这是SpringBoot默认的容器技术，而且是内嵌式的Tomcat。 同时，SpringBoot也支持Undertow容器，我们可以很方便的用Undertow替换Tomcat，而Undertow的性能和内存使…
阅读更多...
线索二叉树构造及遍历算法

线索二叉树构造及遍历算法

线索二叉树构造以及遍历算法 线索二叉树（中序遍历版）构造线索二叉树构造双向线索链表遍历中序线索二叉树 线索二叉树（中序遍历版） 中序遍历找到对应结点的前驱（土方法） #mermaid-svg-eunGO5d2GhjLxCn5 {fo…
阅读更多...
基于SpringBoot的“体育购物商城”的设计与实现（源码+数据库+文档+PPT)

基于SpringBoot的“体育购物商城”的设计与实现（源码+数据库+文档+PPT)

基于SpringBoot的“体育购物商城”的设计与实现（源码数据库文档PPT) 开发语言：Java 数据库：MySQL 技术：SpringBoot 工具：IDEA/Ecilpse、Navicat、Maven 系统展示 系统总体模块设计 前台用户登录界面 系统首页界面…
阅读更多...
数据篇| App爬虫入门（一）

数据篇| App爬虫入门（一）

App 的爬取相比 Web 端爬取更加容易，反爬虫能力没有那么强，而且数据大多是以 JSON 形式传输的，解析更加简单。在 Web 端，我们可以通过浏览器的开发者工具监听到各个网络请求和响应过程，在 App 端如果想要查看这些内容就需要借助抓包软件。常见抓包软件有： ‌工具名称‌‌…
阅读更多...
go context学习

go context学习

1.Context接口2.emptyCtx3.Deadline()方法4.Done()方法5.Err方法6.Value方法（）7.contex应用场景8.其他context方法 1.Context接口 Context接口只有四个方法，以下是context源码。 type Context interface {Deadline() (deadline time.Time, …
阅读更多...
在VMware Workstation Pro上轻松部署CentOS7 Linux虚拟机

在VMware Workstation Pro上轻松部署CentOS7 Linux虚拟机

首先我们需要下载VM虚拟机和Centos7的镜像 下载并安装VMware Workstation Pro 访问VMware Workstation Pro官网下载 https://www.vmware.com/ 第二步：下载centos7镜像 访问centos官网下载 https://www.centos.org/ 开始部署Centos7 点击创建新的虚拟机 这里是Cen…
阅读更多...
Jsoup 解析商品信息时需要注意哪些细节？

Jsoup 解析商品信息时需要注意哪些细节？

在使用Jsoup解析商品信息时，需要注意以下细节和最佳实践，以确保爬虫的稳定性和数据的准确性： 1. 检查HTML文档的合法性 在解析之前，需要确认所解析的文档是否是一份合法正确的HTML文档。如果HTML结构不完整或存在错误&#xff0…
阅读更多...
Android AudioFlinger（五）—— 揭开AudioMixer面纱

Android AudioFlinger（五）—— 揭开AudioMixer面纱

前言： 在 Android 音频系统中，AudioMixer 是音频框架中一个关键的组件，用于处理多路音频流的混音操作。它主要存在于音频回放路径中，是 AudioFlinger 服务的一部分。 上一节我们讲threadloop的时候，提到了一个函数pr…
阅读更多...
go的”ambiguous import in multiple modules”

go的”ambiguous import in multiple modules”

执行“go mod tidy”报如下错误： go mod tidy -compat1.17 go: finding module for package github.com/gomooon/goredis go: found github.com/gomooon/goredis in github.com/gomooon/goredis v0.3.5 go: github.com/gomooon/core importsgithub.com/gomooon/gor…
阅读更多...
从0开始的操作系统手搓教程27：下一步，实现我们的用户进程

从0开始的操作系统手搓教程27：下一步，实现我们的用户进程

目录 第一步：添加用户进程虚拟空间 准备冲向我们的特权级3（用户特权级） 讨论下我们创建用户线程的基本步骤 更加详细的分析代码 用户进程的视图 说一说BSS段 继续看process.c中的函数 添加用户线程激活 现在，我们做好了TSS…
阅读更多...
Java线程池深度解析，从源码到面试热点

Java线程池深度解析，从源码到面试热点

Java线程池深度解析，从源码到面试热点 一、线程池的核心价值与设计哲学 在开始讨论多线程编程之前，可以先思考一个问题？多线程编程的原理是什么？ 我们知道，现在的CUP是多核CPU，假设你的机器是4核的&#x…
阅读更多...
大数据技术在土地利用规划中的应用分析

大数据技术在土地利用规划中的应用分析

大数据技术在土地利用规划中的应用分析 一、引言 土地利用规划是对一定区域内的土地开发、利用、整治和保护所作出的统筹安排与战略部署，对于实现土地资源的优化配置、保障社会经济的可持续发展具有关键意义。在当今数字化时代，大数据技术凭借其海量数据处理、高效信息挖掘等…
阅读更多...
Node 使用 SSE 结合redis 推送数据(echarts 图表实时更新)

Node 使用 SSE 结合redis 推送数据(echarts 图表实时更新)

1、实时通信有哪些实现方式？ 特性轮询（Polling）WebSocketSSE (Server-Sent Events)通信方向单向（客户端 → 服务端）双向（客户端 ↔ 服务端）单向（服务端 → 客户端）连接方…
阅读更多...
Android Native 之 文件系统挂载

Android Native 之 文件系统挂载

一、文件系统挂载流程概述 二、文件系统挂载流程细节 1、Init启动阶段 众所周知，init进程为android系统的第一个进程，也是native世界的开端，要想让整个android世界能够稳定的运行，文件系统的创建和初始化是必不可少的&#xff…
阅读更多...
最新文章

Copyright @ 2022~2023