Transformer - 注意⼒机制 Attention 中的 Q, K, V 解释（2）

flyfish
Transformer - 注意⼒机制 Scaled Dot-Product Attention 计算过程
Transformer - 注意⼒机制 代码实现
Transformer - 注意⼒机制 Scaled Dot-Product Attention不同的代码比较
Transformer - 注意⼒机制 代码解释
Transformer - 注意⼒机制 Attention 中的 Q, K, V 解释（1）
Transformer - 注意⼒机制 Attention 中的 Q, K, V 解释（2）

加权求和

矩阵乘法

第一个矩阵 横着向量
第二个矩阵 列着向量

17的由来
两个矩阵相乘，在结果矩阵中的一个元素就是加权求和得到的

最后结果是

在注意力机制中就是用矩阵乘法 实现的加权求和
$$x^{T}y=\left(\begin{array}{c}{x}_1{x}_2\dots x_n\end{array}\right)\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)=x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n=\sum _{i=1}^n{x}_i{y}_i$$

点积（Dot Product）、数量积、标量积、点乘

点积的名称源自表示点乘运算的点号$(a\bullet b)$，标量积的叫法则是在强调其运算结果为标量而非向量。
两个向量$\vec{a}=\left[a_1,a_2,\cdots ,a_n\right]$和$\vec{b}=\left[b_1,b_2,\cdots ,b_n\right]$的点积定义为：

$$\vec{a}\cdot \vec{b}=\sum _{i=1}^n{a}_i{b}_i=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n$$

在欧几里得空间中，点积可以直观地定义为

$$\vec{a}\cdot \vec{b}=|\vec{a}||\vec{b}|\cos \theta$$
$|\vec{x}|$ 表示 $\vec{x}$的模（长度）， $\theta$ 表示两个向量之间的角度。
$$\cos \theta =\frac{\mathbf{a}\cdot \mathbf{b}}{|\vec{a}||\vec{b}|}$$

两个向量夹角余弦值就是两个向量的余弦相似度
两个向量之间的余弦相似性是用$\theta$来衡量的。

如果$\theta$=0°，则x和y向量重叠，从而证明它们相似。
如果$\theta$=90°，则x和y向量不同。

加权求和 ，矩阵乘法 ，点积都可以实现计算两者相似性
简述是加权求和就是点积，矩阵乘法可以实现点积

一篇文章，文章的标题就是key，文章的内容就是V
使用搜索引擎时，输入到 搜索栏中的文本 就是 query
输入内容 query 与 文章标题 key之间的相似性计算就是 评分函数
在注意力机制中 例如计算Q和K的点积实际就是计算两者的相似性
这个点积结果经过scale就是 评分函数