空间变换层和自注意力机制

空间变换层和自注意力机制

 

Spatial Transformer Layer（空间变换层）是一种在卷积神经网络中引入空间变换的机制。它允许网络自动学习输入图像的几何变换，以提高网络的鲁棒性和性能。它可以通过学习如何对输入进行旋转、缩放、平移等变换，使得网络可以更好地适应不同的输入数据。空间变换层可以应用于许多计算机视觉任务，如图像分类、目标检测和图像分割等。

Self-Attention 是 Attention 的一种变体，它允许模型在输入序列中的不同位置之间进行关联。自注意力机制可以多个输入，任意输出。对于Self-attention的整个运行过程来说,只需要从训练资料中获取k,q,v三个未知参数即可。Self-attention不仅广泛应用与NLP（自然语言处理），还可以运用于语音识别，图等。