网站安全建设方案前言,大沥网站建设,谷歌浏览器网页,软件开发培训机构出来的人社保是怎么交的文#xff5c;萧箫 发自 凹非寺源#xff5c;量子位要说Transformer的核心亮点#xff0c;当然是注意力机制了。但现在#xff0c;一篇新研究却突然提出了带点火药味的观点#xff1a;注意力机制对于预训练Transformer有多重要#xff0c;这事儿得打个问号。研究人员来自…文萧箫 发自 凹非寺源量子位要说Transformer的核心亮点当然是注意力机制了。但现在一篇新研究却突然提出了带点火药味的观点注意力机制对于预训练Transformer有多重要这事儿得打个问号。研究人员来自希伯来大学、艾伦人工智能研究所、苹果和华盛顿大学他们提出了一种新的方法用来衡量注意力机制在预训练Transformer模型中的重要性。结果表明即使去掉注意力机制一些Transformer的性能也没太大变化甚至与原来的模型差异不到十分之一这个结论让不少人感到惊讶有网友调侃你亵渎了这个领域的神明所以究竟如何判断注意力机制对于Transformer模型的重要性把注意力换成常数矩阵这种新测试方法名叫PAPA全称“针对预训练语言模型注意力机制的探测分析”Probing Analysis for PLMs’ Attention。PAPA采用的方法是将预训练语言模型PLMs中依赖于输入的注意力矩阵替换成常数矩阵。如下图所示我们熟悉的注意力机制是通过Q和K矩阵计算得到注意力权重再作用于V得到整体权重和输出。现在Q和K的部分直接被替换成了一个常数矩阵C其中常数矩阵C的计算方式如下随后用6个下游任务测试这些模型CoLA、MRPC、SST-2、MNLI、NER、POS对比采用PAPA前后模型的性能差距。为了更好地检验注意力机制的重要性模型的注意力矩阵并非一次性全换成常数矩阵而是逐次减少注意力头的数量。如下图研究先用了BERT-BASE、RoBERTa-BASE和DeBERTa-BASE做实验其中y轴表示性能x轴是注意力头相比原来减少的情况随后研究又用了BERT-LARGE、RoBERTa-LARGE和DeBERTa-LARGE做实验通过比较结果研究人员发现了一些有意思的现象首先用常数矩阵替换一半的注意矩阵对模型性能的影响极小某些情况下甚至可能导致性能的提升x值达到½时图中有些模型数值不减反增。其次即使注意力头数量降低为0平均性能下降也就8%与原始模型相比最多不超过20%。研究认为这种现象表明预训练语言模型对注意力机制的依赖没那么大moderate。模型性能越好越依赖注意力机制不过即使是预训练Transformer模型之间性能表现也不完全一样。作者们将表现更好的Transformer模型和更差的Transformer模型进行了对比发现原本性能更好的模型在经过PAPA的“测试”后性能反而变得更差了。如下图其中y轴代表各模型原本的平均性能x轴代表将所有注意力矩阵替换为常数矩阵时经过PAPA测试模型性能的相对降低分值可以看出之前性能越好的模型将注意力矩阵替换成常数矩阵受到的损失也越高。这说明如果模型本身性能越好对注意力机制的利用能力就越好。对于这项研究有网友感觉很赞听起来很酷现在不少架构太重视各种计算和性能任务却忽略了究竟是什么给模型带来的改变。但也有网友认为不能单纯从数据来判断架构变化是否重要。例如在某些情况下注意力机制给隐空间latent space中数据点带来的幅度变化仅有2-3%难道这种情况下它就不够重要了吗不一定。对于注意力机制在Transformer中的重要性你怎么看论文地址https://arxiv.org/abs/2211.03495后台回复关键词【入群】加入卖萌屋NLP、CV、搜推广与求职讨论群 [1] https://twitter.com/_akhaliq/status/1589808728538509312