移动端网站设计尺寸,成都电子商务网站建站,门户网站的首页模板,山西物价局建设工程检测网站首页创作不易#xff0c;有用点赞#xff0c;写作有利于锻炼一门新的技能#xff0c;有很大一部分是我自己总结的新视角 1、前置条件#xff1a;要理解旋转位置编码前#xff0c;要熟悉自注意力机制#xff0c;否则很难看得懂#xff0c;在我的系列文章中有对自注意力机制的…创作不易有用点赞写作有利于锻炼一门新的技能有很大一部分是我自己总结的新视角 1、前置条件要理解旋转位置编码前要熟悉自注意力机制否则很难看得懂在我的系列文章中有对自注意力机制的画图解释。 先说重要的结论(下面 q向量 和 k向量 是自注意力矩阵诞生的不懂先去看注意力机制) 结论1旋转位置编码本身是绝对位置编码但是和自注意力机制中的一个qk向量结合之后就变成了相对位置编码。因为自注意力机制中qk会计算点积正是恰好这个内积顺带把旋转位置编码变成了相对位置编码所以一般说旋转位置编码既包含了绝对位置编码含义也包含了相对位置编码含义。 结论2假设没有位置编码这个东西自注意力机制中qk向量进行内积的时候经过反向传播会逐渐得出词汇与词汇的关联度矩阵假设10个词汇计算内积当两个词汇关联度越高这两个词汇的内积(q * k)越大重点来了当对q 和 k叠加上旋转位置编码之后那不仅仅是两个词汇关联度越高内积越大并且当两个词汇位置距离越近内积也越大。 结论3原来词向量跟词向量的内积大小只跟词汇的语义相关内积越大两个词汇的语义关联度越高。叠加上旋转位置编码后距离相近的词向量内积也大。当一个句子中两个词汇距离很远但是语义强相关那他们的内积就是大当两个词汇语义没啥关联但是距离很近内积也是大当两个词汇距离又近语义有强相关内积就是大大的。 2、经过上面的结论其实我们知道了旋转位置编码在哪个位置起到的作用就是得出 q 和 k 向量之后。 在说旋转位置编码怎么旋转之前数学界已经就有了怎么对一个向量进行旋转举个例子 如果你本身对位置编码不熟悉在了解旋转位置编码之前建议先去看我的另一篇博客有个传统绝对位置编码的解释旋转位置编码在没和qk叠加之前其实和绝对位置编码差不多你会发现他们的公式在某些地方非常的接近。如果这个所谓的旋转位置编码和传统绝对位置编码通过一样的方式叠加到词向量上面旋转位置编码还是一个绝对位置编码关键在于叠加方式不一样。当然传统位置编码使用旋转位置编码的叠加方式也没有产生相对位置含义所以旋转位置编码的计算公式和他的叠加方式是相互相成的。 传统绝对位置编码公式 旋转位置编码公式 3、上面知道如果向量需要旋转其实需要一个二维向量但是 q 和 k 都是一维向量怎么办呢通过如下叠加把 q 和 k 向量都按照如下图所示变成二维向量 然后把q的每一列当成xy取出来下图所示一共有8个xy所有的q向量都进行这样子的计算计算完成之后我们就说q叠加上了旋转位置编码。 然后又转换回来这个q叠加上了旋转位置编码 4、我简单提供一个证明证明在向量在旋转位置编码之后词汇距离越近内积就越大假设两个token的q向量都一样。 假设两个token的初始表示为相同的向量[1,0,1,0] 旋转矩阵为 下面我们来套用上面说到的公式计算 当这个向量位置为 1 当这个向量位置为 3 5、最后代码实现在这里我也是拿某些大佬的我在这里写了很多print形状从观察矩阵形状变化去理解比较好 我这里提一下就是你会发现代码其实有点难以看懂这是因为涉及到批次计算多头导致矩阵代码中做了很多的矩阵变换但是本质的流程还是我上面所说的只是在实现过程中考虑到优化导致的代码难以按照我上面所述的流程看懂但是本质和上面一样。 import torch import torch.nn as nn import torch.nn.functional as F import math# %%def sinusoidal_position_embedding(batch_size, nums_head, max_len, output_dim, device):# batch_size 8# nums_head 12# max_len 10# output_dim 32position torch.arange(0, max_len, dtypetorch.float).unsqueeze(-1)ids torch.arange(0, output_dim // 2, dtypetorch.float) # 即公式里的i, i的范围是 [0,d/2]theta torch.pow(10000, -2 * ids / output_dim)print(position) # [[0.],[1.],[2.],[3.],[4.],[5.],[6.],[7.],[8.],[9.]]print(output_dim) # 32print(theta) # tensor([1.0000e00, 5.6234e-01, 3.1623e-01, 1.7783e-01, 1.0000e-01, 5.6234e-02,# 3.1623e-02, 1.7783e-02, 1.0000e-02, 5.6234e-03, 3.1623e-03, 1.7783e-03,# 1.0000e-03, 5.6234e-04, 3.1623e-04, 1.7783e-04])print(theta.size()) # torch.Size([16])print(position.size()) # torch.Size([10, 1])embeddings position * theta # 即公式里的pos / (10000^(2i/d))print(embeddings.size()) # torch.Size([10, 16])# (max_len, output_dim//2, 2)embeddings torch.stack([torch.sin(embeddings), torch.cos(embeddings)], dim-1)# For example# torch.sin(embeddings) tensor([[ 0.0000, 0.8415, 0.9093, 0.1411, -0.7568, -0.9589]])# torch.cos(embeddings) tensor([[ 1.0000, 0.5403, -0.4161, -0.9900, -0.6536, 0.2837]])# torch.stack tensor([[[ 0.0000, 1.0000],# [ 0.8415, 0.5403],# [ 0.9093, -0.4161],# [ 0.1411, -0.9900],# [-0.7568, -0.6536],# [-0.9589, 0.2837]]])print(embeddings.size()) # torch.Size([10, 16, 2])embeddings embeddings.repeat((batch_size, nums_head, *([1] * len(embeddings.shape)))) # 在bs维度重复其他维度都是1不重复print(embeddings.size()) # torch.Size([8, 12, 10, 16, 2])# reshape后就是偶数sin, 奇数cos了embeddings torch.reshape(embeddings, (batch_size, nums_head, max_len, output_dim))print(embeddings.size()) # torch.Size([8, 12, 10, 32])embeddings embeddings.to(device)return embeddings# %%def RoPE(q, k):# q,k: (bs, head, max_len, output_dim)batch_size q.shape[0] # batch_size 8nums_head q.shape[1] # nums_head 12max_len q.shape[2] # max_len 10output_dim q.shape[3] # output_dim 32pos_emb sinusoidal_position_embedding(batch_size, nums_head, max_len, output_dim, q.device)print(pos_emb.size()) # torch.Size([8, 12, 10, 32])# 看rope公式可知相邻cossin之间是相同的所以复制一遍。如(1,2,3)变成(1,1,2,2,3,3)cos_pos pos_emb[..., 1::2].repeat_interleave(2, dim-1) # 将奇数列信息抽取出来也就是cos 拿出来并复制sin_pos pos_emb[..., ::2].repeat_interleave(2, dim-1) # 将偶数列信息抽取出来也就是sin 拿出来并复制print(cos_pos.size()) # torch.Size([8, 12, 10, 32])print(sin_pos.size()) # torch.Size([8, 12, 10, 32])q2 torch.stack([-q[..., 1::2], q[..., ::2]], dim-1)print(q2.size()) # torch.Size([8, 12, 10, 16, 2])q2 q2.reshape(q.shape) # reshape后就是正负交替了print(q2.size()) # torch.Size([8, 12, 10, 32])# 更新qw, *对应位置相乘q q * cos_pos q2 * sin_posprint(q.size()) # torch.Size([8, 12, 10, 32])k2 torch.stack([-k[..., 1::2], k[..., ::2]], dim-1)k2 k2.reshape(k.shape)# 更新kw, *对应位置相乘k k * cos_pos k2 * sin_posreturn q, k# %%def attention(q, k, v, maskNone, dropoutNone, use_RoPETrue):# q.shape: (bs, head, seq_len, dk)# k.shape: (bs, head, seq_len, dk)# v.shape: (bs, head, seq_len, dk)if use_RoPE:q, k RoPE(q, k)d_k k.size()[-1]att_logits torch.matmul(q, k.transpose(-2, -1)) # (bs, head, seq_len, seq_len)att_logits / math.sqrt(d_k)if mask is not None:att_logits att_logits.masked_fill(mask 0, -1e9) # mask掉为0的部分设为无穷大att_scores F.softmax(att_logits, dim-1) # (bs, head, seq_len, seq_len)if dropout is not None:att_scores dropout(att_scores)# (bs, head, seq_len, seq_len) * (bs, head, seq_len, dk) (bs, head, seq_len, dk)return torch.matmul(att_scores, v), att_scoresif __name__ __main__:# (bs, head, seq_len, dk)q torch.randn((8, 12, 10, 32))k torch.randn((8, 12, 10, 32))v torch.randn((8, 12, 10, 32))res, att_scores attention(q, k, v, maskNone, dropoutNone, use_RoPETrue)# (bs, head, seq_len, dk), (bs, head, seq_len, seq_len)print(res.shape, att_scores.shape)