深度学习PyTorch之动态计算图可视化 - 使用 torchviz 生成计算图

序号系列文章
1深度学习训练中GPU内存管理
2深度学习PyTorch之数据加载DataLoader
3深度学习 PyTorch 中 18 种数据增强策略与实现
4深度学习pytorch之简单方法自定义9类卷积即插即用
5深度学习PyTorch之13种模型精度评估公式及调用方法
6深度学习pytorch之4种归一化方法(Normalization)原理公式解析
7深度学习pytorch之19种优化算法(optimizer)解析
8深度学习pytorch之22种损失函数数学公式和代码定义
9DIY损失函数–以自适应边界损失为例
10深度学习PyTorch之动态计算图可视化 - 使用 torchviz 生成计算图

文章目录

        • 前言
        • 1. 什么是动态计算图?
        • 2. 为什么要可视化计算图?
        • 3. 使用 `torchviz` 生成计算图
          • 3.1 安装 `torchviz`
          • 3.2 生成计算图完整代码示例
          • 3.3 在训练过程中生成计算图
          • 3.4 代码解读
          • 3.5 生成的计算图
        • 4. `torchviz` 的更多应用
        • 5. 总结
        • 参考文献

前言

在深度学习模型的开发过程中,理解和可视化模型的计算图对于调试、优化和教学都具有重要意义。PyTorch 采用的是动态图机制,这使得每次前向传播时计算图都被动态创建。而 torchviz 是一个非常有用的工具,它可以将这些动态图转化为可视化图形,帮助我们更直观地理解模型的计算过程。在本篇博客中,我们将重点介绍如何使用 torchviz 生成和保存 PyTorch 模型的计算图,并结合实际训练代码进行展示。

1. 什么是动态计算图?

在 PyTorch 中,计算图并不是在模型初始化时构建好的,而是通过前向传播过程动态地构建的。这种动态特性意味着每次运行时,计算图会根据输入数据的形状和大小而变化,因此我们可以灵活地进行调试和优化。PyTorch 的动态图提供了较高的灵活性,允许在计算图中嵌入复杂的控制流结构(例如循环和条件判断)。

2. 为什么要可视化计算图?

可视化计算图的优势在于:

  • 调试:通过查看每一层的输入输出,可以快速发现模型设计上的问题。
  • 优化:通过分析计算图,可以识别瓶颈和不必要的计算,进而优化模型性能。
  • 教学:对于新手来说,计算图能够帮助他们理解深度学习模型的前向传播过程。

虽然 PyTorch 的动态图功能非常强大,但由于它不提供直接的计算图展示方式,因此我们需要借助外部工具 torchviz 进行可视化。

3. 使用 torchviz 生成计算图

torchviz 是一个能够将 PyTorch 计算图转化为图形的库,具体来说,它能够将计算图渲染为 DOT 格式并生成可视化图像文件(如 PNG 或 PDF)。我们通过以下几步可以生成计算图:

3.1 安装 torchviz

首先,你需要安装 torchviz 库。可以通过 pip 安装:

pip install torchviz

此时会直接将graphviz,torchziv两个都安装好,但是这种方法无法将graphviz导入系统路径。出现报错graphviz.backend.ExecutableNotFound: failed to execute ‘dot‘, make sure the Graphviz executables are***,需要从网址 Download | Graphviz下载graphviz的zip格式文件,解压后复制到以下python路径下即可。

在这里插入图片描述

3.2 生成计算图完整代码示例

核心语句只包括make_dot和render两个函数,其中:

  • make_dot(y) 会根据输入张量 y 的计算过程生成计算图。
  • render(“model_graph”, format=“png”) 将计算图保存为 PNG 图片。
import torch
import torch.nn as nn
import torch.optim as optim
from torchviz import make_dot# 定义一个简单的神经网络
class SimpleNN(nn.Module):def __init__(self):super(SimpleNN, self).__init__()self.fc1 = nn.Linear(2, 2)self.fc2 = nn.Linear(2, 1)def forward(self, x):x = torch.relu(self.fc1(x))x = self.fc2(x)return x# 创建模型实例
model = SimpleNN()# 输入数据
x = torch.randn(1, 2)# 前向传播
y = model(x)# 可视化计算图
dot = make_dot(y, params=dict(model.named_parameters()))
dot.render("model_graph", format="png")  # 保存图像为png文件

复制以上代码运行后生成model_graph.png如
在这里插入图片描述

3.3 在训练过程中生成计算图

假设你已经有了一个标准的 PyTorch 训练代码,并且希望在训练过程中生成计算图。我们可以在每次前向传播时使用 torchviz.make_dot 来生成计算图,并保存为 PNG 文件。

以下是一个集成计算图生成的训练代码示例:

import torch
from torchviz import make_dotfor epo in range(epo_num):print(epo)train_loss = 0train_acc = 0.0seg_model.train()for index, (img, label) in enumerate(train_dataloader):img = img.to(device)label = label.to(device)optimizer.zero_grad()output = seg_model(img)  # 得到模型输出# 使用 torch.sigmoid 激活函数output = torch.sigmoid(output)# 生成计算图并保存为 PNG 文件if index == 0:  # 只在第一个batch时生成计算图dot = make_dot(output, params=dict(seg_model.named_parameters()))dot.render("model_graph_epoch_{}_batch_{}".format(epo, index), format="png")  # 保存为 epoch_x_batch_y.png# 计算损失loss = criterion(output, label)loss.backward()iter_loss = loss.item()all_train_iter_loss.append(iter_loss)train_loss += iter_lossoptimizer.step()# 计算准确率output_1 = output.argmax(dim=1)label_1 = label.argmax(dim=1)correct = torch.eq(output_1, label_1).sum().item()iter_acc = correct / label_1.numel()all_train_iter_acc.append(iter_acc)train_acc += iter_acc
3.4 代码解读
  1. 前向传播output = seg_model(img) 这一行执行了前向传播,计算了模型的输出。

  2. 计算图生成:在每个 epoch 的第一个 batch 中,使用 make_dot(output, params=dict(seg_model.named_parameters())) 来生成计算图。output 是模型的输出,而 seg_model.named_parameters() 则提供了模型的参数信息,这对于生成完整的计算图非常有帮助。

  3. 保存计算图:通过 dot.render() 将计算图保存为 PNG 格式的文件。文件名包含当前的 epoch 和 batch 索引,以便于区分。

    dot.render("model_graph_epoch_{}_batch_{}".format(epo, index), format="png")
    
3.5 生成的计算图

计算图会包含模型中的每个操作(如矩阵乘法、加法等),以及这些操作之间的连接关系。通过计算图(以下示例),你可以清楚地看到模型的每一步计算如何进行。
在这里插入图片描述

4. torchviz 的更多应用

除了在训练过程中生成计算图,torchviz 还可以用于以下场景:

  • 单步调试:如果你的模型非常复杂,可以在某个特定步骤(如单个前向传播)生成计算图,帮助调试。

  • 模型设计:在设计新的网络架构时,通过生成计算图,可以确保每一层的输入输出形状是正确的。

  • 计算性能分析:通过分析计算图中的每个节点,可以识别出性能瓶颈并进行优化。

5. 总结

PyTorch 的动态图特性使得每次前向传播时计算图都是动态生成的,而 torchviz 则提供了一个简便的工具,可以将这些动态生成的计算图可视化为图像文件。通过将 torchviz 集成到训练代码中,我们可以在训练过程中实时生成计算图,这不仅有助于我们调试模型,还可以为教学和研究提供更清晰的解释。

参考文献
  • torchviz GitHub
  • PyTorch 官方文档

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/74485.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

K8S学习之基础四十五:k8s中部署elasticsearch

k8s中部署elasticsearch 安装并启动nfs服务yum install nfs-utils -y systemctl start nfs systemctl enable nfs.service mkdir /data/v1 -p echo /data/v1 *(rw,no_root_squash) >> /etc/exports exports -arv systemctl restart nfs创建运行nfs-provisioner需要的sa账…

Go红队开发—CLI框架(一)

CLI开发框架 命令行工具开发,主要是介绍开发用到的包,集成了一个框架,只要学会了基本每个人都能开发安全工具了。 该文章先学flags包,是比较经典的一个包,相比后面要学习的集成框架这个比较自由比较细化点&#xff0…

eclipse [jvm memory monitor] SHOW_MEMORY_MONITOR=true

eclipse虚拟机内存监控设置SHOW_MEMORY_MONITORtrue D:\eclipse-jee-oxygen-2-win32-x86_64\workspace\.metadata\.plugins\org.eclipse.core.runtime\.settings org.eclipse.ui.prefs (文件比较多,别找错了) SHOW_MEMORY_MONITORtrue 重启 -xms 1024…

量子计算与人工智能的融合:下一代算力革命

1. 引言:算力需求的飞速增长与量子计算的潜力 在信息技术飞速发展的今天,人工智能(AI)已经渗透到我们生活的方方面面,从智能助手到自动驾驶,再到医疗诊断,AI 的应用场景日益广泛。然而&#xf…

Linux paste命令

目录 一. 简介二. 基本语法三. 小案例 一. 简介 paste 命令用于合并多个文件的行&#xff0c;按列方式输出&#xff0c;默认以制表符&#xff08;Tab&#xff09;分隔。 ⏹基本语法 paste [选项] 文件1 文件2 ...二. 基本语法 <()的方式模拟文件流paste命令将2个文件流粘…

uniapp处理流式请求

在uniapp里面处理流式请求相对于web端来说有点麻烦&#xff0c;下面我将讲述几种处理流式请求的方式。 1.websocket WebSocket 是处理实时数据流的最佳选择之一&#xff0c;UniApp 提供了原生的 WebSocket 支持&#xff1a; <template><view class"container&…

低代码理解

一、低代码开发的核心定义 低代码开发是通过可视化界面和声明式编程替代传统手工编码的软件开发范式&#xff0c;其核心目标是&#xff1a; 降低技术门槛&#xff1a;允许非专业开发者&#xff08;公民开发者&#xff09;参与应用构建提升开发效率&#xff1a;通过复用预制组…

WHAM 人体3d重建部署笔记 vitpose

目录 视频结果: docker安装说明: conda环境安装说明: 依赖项: 依赖库: 安装 mmpose,mmcv 下载模型权重: 算法原理, demo脚本 报错inference_top_down_pose_model: 测试命令: 视频结果: wham_smpl预测结果 git地址: GitHub - yohanshin/WHAM WHAM: Recons…

react 大屏根据屏幕分辨率缩放

记录&#xff0c;以防忘记 const DataLargeScreen () > {const layoutRef useRef<any>();// ui稿宽度const width useRef(1920).current;// ui稿高度const height useRef(1080).current;const [scaleValue, setScaleValue] useState(1);const useWhichScaleValu…

【网络】网关

【网络】网关 网关 是计算机网络中用于连接两个不同网络的设备或服务器&#xff0c;它充当着“翻译器”和“转发器”的角色&#xff0c;将数据包从一个网络传递到另一个网络&#xff0c;并在必要时进行协议转换和数据重包装。 主要功能 数据转发&#xff1a;当本地网络设备发…

Axure大屏可视化模板:赋能多领域,开启数据展示新篇章

在当今这个数据爆炸的时代&#xff0c;数据已经成为各行各业的核心资产。然而&#xff0c;如何高效、直观地展示数据&#xff0c;并将其转化为有价值的决策依据&#xff0c;成为了许多企业和组织面临的共同挑战。Axure大屏可视化模板&#xff0c;作为一款强大的数据展示工具&am…

数据不外传!通过内网穿透实现绿联NAS远程访问的安全配置方案

文章目录 前言1. 开启ssh服务2. ssh连接3. 安装cpolar内网穿透4. 配置绿联NAS公网地址 前言 大家好&#xff0c;今天要带给大家一个超级酷炫的技能——如何让绿联NAS秒变‘千里眼’&#xff0c;通过简单的几步操作就能轻松实现内网穿透。想象一下&#xff0c;无论你身处何地&a…

面试题精选《剑指Offer》:JVM类加载机制与Spring设计哲学深度剖析-大厂必考

一、JVM类加载核心机制 &#x1f525; 问题5&#xff1a;类从编译到执行的全链路过程 完整生命周期流程图 关键技术拆解 编译阶段 查看字节码指令&#xff1a;javap -v Robot.class 常量池结构解析&#xff08;CONSTANT_Class_info等&#xff09; 类加载阶段 // 手动加载…

WordPress分类目录绑定二级域名插件

一.子域名访问形式 1.wordpress 分类目录 转换为 子域名 &#xff08;绑定二级域名&#xff09;形式 2.wordpress 页面转换为 子域名 &#xff08;绑定二级域名&#xff09; 形式 3.wordpress 作者页转换为 子域名 &#xff08;绑定二级域名&#xff09;形式 4.为不同子域名…

Shopify Checkout UI Extensions

结账界面的UI扩展允许应用开发者构建自定义功能&#xff0c;商家可以在结账流程的定义点安装&#xff0c;包括产品信息、运输、支付、订单摘要和Shop Pay。 Shopify官方在去年2024年使用结账扩展取代了checkout.liquid&#xff0c;并将于2025年8月28日彻底停用checkout.liquid…

华为HCIE方向那么多应该如何选择?

在华为认证体系里&#xff0c;HCIE作为最高等级的认证&#xff0c;是ICT领域专业实力的有力象征。HCIE设置了多个细分方向&#xff0c;这些方向宛如不同的专业赛道&#xff0c;为期望在ICT行业深入发展的人提供了丰富的选择。今天&#xff0c;咱们就来好好聊聊华为HCIE方向的相…

bootstrap介绍(前端框架)(提供超过40种可复用组件,从导航栏到轮播图,从卡片到弹窗)bootstrap框架

文章目录 Bootstrap框架全解析起源与发展核心特性与优势响应式设计组件丰富度一致性与兼容性 栅格系统深度解析栅格系统工作原理断点设置与响应式策略 组件系统导航组件表单系统 自定义与扩展SASS变量系统构建系统优化 性能优化策略按需加载减少嵌套层级 实践案例&#xff1a;电…

FastGPT原理分析-数据集创建第二步:处理任务的执行

概述 文章《FastGPT原理分析-数据集创建第一步》已经分析了数据集创建的第一步&#xff1a;文件上传和预处理的实现逻辑。本文介绍文件上传后&#xff0c;数据处理任务的具体实现逻辑。 数据集创建总体实现步骤 从上文可知数据集创建总体上来说分为两大步骤&#xff1a; &a…

el-select下拉框,搜索时,若是匹配后的数据有且只有一条,则当失去焦点时,默认选中该条数据

1、使用指令 当所需功能只能通过直接的 DOM 操作来实现时&#xff0c;才应该使用自定义指令。可使用方法2封装成共用函数&#xff0c;但用指令他人复用时比较便捷。 <el-tablev-loading"tableLoading"border:data"tableList"default-expand-allrow-key…

vue中keep-alive组件的使用

keep-alive是vue的内置组件&#xff0c;它的主要作用是对组件进行缓存&#xff0c;避免组件在切换时被重复创建和销毁&#xff0c;从而提高应用的性能和用户体验。它自身不会渲染一个 DOM 元素&#xff0c;也不会出现在父组件链中。使用时&#xff0c;只需要将需要缓存的组件包…