文章目录
- 1. `torch.nn.Transformer`
- 参数：
- 示例代码：
- 2. `torch.nn.TransformerEncoder`
- 参数：
- 示例代码：
- 3. `torch.nn.TransformerEncoderLayer`
- 参数：
- 示例代码：
- 4. `torch.nn.TransformerDecoder`
- 参数：
- 示例代码：
- 5. `torch.nn.TransformerDecoderLayer`
- 参数：
- 示例代码：
首先，我们来看一下
torch.nn.Transformer这个类。
1. torch.nn.Transformer
这是一个完整的Transformer模型，包括编码器(encoder)和解码器(decoder)。它是基于论文 “Attention is All You Need” 实现的。该模型的主要功能是通过编码器处理输入数据，然后将编码器的输出传递给解码器生成最终的输出。
参数：
d_model: 特征的维度（必须）nhead: 多头注意力中的头数（必须）num_encoder_layers: 编码器中的层次数num_decoder_layers: 解码器中的层次数dim_feedforward: 前馈全连接网络的维度dropout: dropout的比例activation: 激活函数，默认是ReLU
示例代码：
import torch
from torch -DLG-C/C++ - 进度条(ProgressBar))
