GPT是什么？直观解释Transformer | 深度学习第5章 【3Blue1Brown 官方双语】

【官方双语】GPT是什么？直观解释Transformer | 深度学习第5章

0:00 - 预测，采样，重复：预训练/生成式/Transformer模型
3:03 - Transformer 的内部结构
6:36 - 本期总述
7:20 - 深度学习的大框架
12:27 - GPT的第一层：词嵌入为向量(embedding)
18:25 - 嵌入空间不仅代表词，还能包含上下文信息
20:22 - GPT的最后一层：向量解码为词(Unembedding)
22:22 - 带温度的 Softmax 函数
26:03 - 下期预告：深入注意力机制

1.0. GPT的解释

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

预测后续内容
在这里插入图片描述
在这里插入图片描述

  • 视频重要内容
    在这里插入图片描述

1.1 Token的解释

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
词的含义不同（以model举例）
在这里插入图片描述
注意力模块的工作：
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

后续是接多层感知器（MLP）或者叫做前馈神经网络：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

深度学习系列课程
在这里插入图片描述

1.2 权重

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
八个类别：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.3 词嵌入

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
几何角度理解：
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

举个例子：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 点积
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
几何角度：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.4 上下文长度

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.5 输出

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 涉及两个步骤
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

1.6 解嵌入矩阵

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.7 Softmax

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

下一章：Attention
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/831254.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【论文浅尝】Large Language Models for Generative Information Extraction: A Survey

【论文浅尝】Large Language Models for Generative Information Extraction: A Survey

本文对生成式IE的LLM进行了全面的探索。使用两种分类法对现有的代表性方法进行分类: (1)众多IE子任务的分类法，旨在对可以使用llm单独或统一提取的不同类型的信息进行分类; (2)学习范式分类法，对利用llm生成IE的各种新方法进行分类。 Preliminaries o…
阅读更多...
CMake：set与list的字符串操作（六）

CMake：set与list的字符串操作（六）

1、变量操作 有时候项目中的源文件并不一定都在同一个目录中，但是这些源文件最终却需要一起进行编译来生成最终的可执行文件或者库文件。如果我们通过file命令对这个目录下的源文件进行搜索，最后还需要做一个字符串拼接的操作，关于字符串拼接…
阅读更多...
msmpi 高性能计算实现文件读取输入

msmpi 高性能计算实现文件读取输入

【高性能计算】完美解决Windows下安装mpi环境并应用到VSCode中报错问题的方法_c:\program files (x86)\microsoft sdks\mpi\include/-CSDN博客 环境配置 然后跑这个代码测试即可 // 命令行参数： //mpiexec -n 9 "C:\Users\ASUS\Desktop\testMPI\MPIv2.exe&qu…
阅读更多...
【氮化镓】GaN器件可靠性及市场前景概述

【氮化镓】GaN器件可靠性及市场前景概述

文章是关于氮化镓（GaN）场效应晶体管（FET）技术在空间应用中的可靠性、辐射效应和市场前景的概述。文章由Airbus Defence & Space的多位专家撰写，涵盖了GaN FET技术的多个关键方面，包括技术概述、可靠性问…
阅读更多...
Find My无人机|苹果Find My技术与无人机结合，智能防丢，全球定位

Find My无人机|苹果Find My技术与无人机结合，智能防丢，全球定位

无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作。无人机按应用领域，可分为军用与民用。军用方面，无人机分为侦察机和靶机。民用方面，无人机行业应用，是无…
阅读更多...
opencv基础篇 ——（十二）轮廓提取与绘制

opencv基础篇 ——（十二）轮廓提取与绘制

opencv基础篇 ——（十二）轮廓提取与绘制 findContours轮廓提取 void void findContours( InputArray image, OutputArrayOfArrays contours,OutputArray hierarchy, int mode,int method, Point offset Point());功能介绍 cv::findContours 是 OpenC…
阅读更多...
【python】商业数据聚类-回归数据分析可视化（源码+数据）【独一无二】

【python】商业数据聚类-回归数据分析可视化（源码+数据）【独一无二】

👉博__主👈：米码收割机 👉技__能👈：C/Python语言 👉公众号👈：测试开发自动化【获取源码商业合作】 👉荣__誉👈：阿里云博客专家博主、5…
阅读更多...
ios CI/CD 持续集成 组件化专题四-（手动发布私有库-组件化搭建）

ios CI/CD 持续集成 组件化专题四-（手动发布私有库-组件化搭建）

一 、创建私有索引库 1.1 、第一步 首先检查本地是否存在需要的私有索引库 pod repo list 例如：dp_base_ios_spec 在本地不存在该私有索引库 1.2 、第二步 在git下下创建一个新的库，这个库用来保存私有库的podspec文件，取名叫xxxSpec用以…
阅读更多...
以更多架构核心专利，推进 SDS 产业创新创造

以更多架构核心专利，推进 SDS 产业创新创造

今天是第 24 个世界知识产权日，今年世界知识产权日活动的主题是：“知识产权和可持续发展目标：立足创新创造，构建共同未来。” 这也正是 XSKY 在软件定义存储领域的目标之一。以“数据常青”为使命的 XSKY，始终立足于软…
阅读更多...
【MySQL | 第十篇】重新认识MySQL索引匹配过程

【MySQL | 第十篇】重新认识MySQL索引匹配过程

文章目录 10.重新认识MySQL索引匹配过程10.1匹配规则10.2举例&#xff1a;联合索引遇到范围查询&#xff08;>、<、between、like&#xff09;10.2.1例子一&#xff1a;>10.2.2例子二&#xff1a;>10.2.3例子三&#xff1a;between10.2.4例子四&#xff1a;like 10…
阅读更多...
Unity SteamVR入门

Unity SteamVR入门

概述 VR项目现在在当前已经是非常热门的技术&#xff0c;可以给玩家身临其境的感觉&#xff0c;接下来让我们学习这部分的内容吧&#xff01; SteamVR Input SteamVR绑定流程&#xff0c;在Windows窗口的点击SteamVR-input&#xff0c;图1&#xff0c;在这里可以选择你需要绑定…
阅读更多...
SQL注入漏洞--报错/union/布尔盲注/时间盲注

SQL注入漏洞--报错/union/布尔盲注/时间盲注

之前介绍了数据库的基本操作&#xff0c;今天这篇文章就来实操SQL注入。 阅读本文前可以先看一下基本操作&#xff0c;有助于更换理解本文。。。 https://blog.csdn.net/weixin_60885144/article/details/138356410?spm1001.2014.3001.5502 what SQL---结构化查询语言---S…
阅读更多...
探索AIGC技术：创新、挑战与责任

探索AIGC技术：创新、挑战与责任

&#x1f3a5; 个人主页&#xff1a;Dikz12&#x1f4d5;格言&#xff1a;那些在暗处执拗生长的花&#xff0c;终有一日会馥郁传香欢迎大家&#x1f44d;点赞✍评论⭐收藏 #如何看待AIGC技术&#xff1f; 目录 AIGC简单介绍 创新 责任 未来展望和挑战 AIGC简单介绍 A…
阅读更多...
MySQL商城数据库表(31-40)

MySQL商城数据库表(31-40)

31——前台菜单表&#xff08;guo_home_menus&#xff09; CREATE TABLE guo_home_menus (menuld int(11) NOT NULL AUTO_INCREMENT,parentld int(11) NOT NULL DEFAULT 0 COMMENT 父ID,menuName varchar(100) NOT NULL COMMENT 菜单名称,menuUrl varchar(100) NOT NULL COMME…
阅读更多...
JavaScript 计算器的制作及详细解释 适合你

JavaScript 计算器的制作及详细解释 适合你

<!DOCTYPE html> <html lang"en"> <head> <meta charset"UTF-8"> <meta name"viewport" content"widthdevice-width, initial-scale1.0"> <title>简易计算器</title> <style> .calcu…
阅读更多...
【Linux系统】守护进程

【Linux系统】守护进程

一.进程组&#xff0c;会话 PGID&#xff1a;进程组id&#xff0c;一条命令启动的所有进程及其子进程属于同一个进程组。一条指令中最先创建的进程就是组长&#xff0c;组id就是组长的PID。./启动的SID&#xff1a;会话id&#xff0c;每次登录Linux&#xff0c;操作系统给登录的…
阅读更多...
Creating a Pose Control *

Creating a Pose Control *

为模型设置一个初始的姿势姿态。选择模型的根节点,打开属性编辑器。在选项菜单中选择"ERC Freeze..."。这允许你捕获当前姿势与默认姿势的差异,并将其存储为一个新的参数控制器。为新控制器设置一个唯一的内部名称和显示标签名称。使用属性移动器将新创建的控制器移动…
阅读更多...
vue2(4)之scoped解决样式冲突/组件通信/非父子通信/ref和$refs/异步更新/.sync/事件总线/provide和inject

vue2(4)之scoped解决样式冲突/组件通信/非父子通信/ref和$refs/异步更新/.sync/事件总线/provide和inject

vue2 一、学习目标1.组件的三大组成部分&#xff08;结构/样式/逻辑&#xff09;2.组件通信3.综合案例&#xff1a;小黑记事本&#xff08;组件版&#xff09;4.进阶语法 二、scoped解决样式冲突**1.默认情况**&#xff1a;2.代码演示3.scoped原理4.总结 三、data必须是一个函数…
阅读更多...
C语言-调试技巧

C语言-调试技巧

目录 一、调试介绍1.1 Debug和Release的介绍1.2 Windows环境调试介绍1.2.1 学会快捷键1.2.2 查看临时变量的值1.2.3 查看内存信息1.2.4 查看调用堆栈1.2.4 查看汇编信息1.2.5 查看寄存器信息 二、编程常见的错误2.1 编译型错误2.2 链接型错误2.3 运行时错误 三、易于调试的代码…
阅读更多...
【AI学习】人工智能 or 人造智能 or 人创智能

【AI学习】人工智能 or 人造智能 or 人创智能

刚刚读完了《十堂极简人工智能课》这本书&#xff0c;非常精彩的一本书&#xff0c;用非常简短的篇幅&#xff0c;几乎涵盖了人工智能发展的所有重要历程、重要路径和方法、重要观点以及重要问题&#xff0c;将技术以一种哲学思考的方式深入浅出的讲述&#xff0c;实在难得&…
阅读更多...
最新文章

Copyright @ 2022~2023