181、Transformer革新：HAT的混合注意力机制与跨尺度特征融合详解去年年底我在做遥感图像超分项目时，遇到了一个让人头疼的问题。用SwinIR跑出来的结果，建筑物边缘总是糊成一团，纹理细节像是被橡皮擦抹过一样。我试了各种trick——加深网络、调大patch size、甚至上了对抗损失，效果都不理想。直到我偶然读到HAT这篇论文，才意识到问题出在哪儿：传统Transformer在处理多尺度特征时，注意力机制其实是在“盲人摸象”。从SwinIR的痛点说起先说说SwinIR为什么在某些场景下表现不佳。SwinIR的核心是窗口自注意力，每个窗口内的像素只能看到自己小圈子里的信息。这就像让一群画家各自画一幅画的局部，然后拼在一起——局部细节可能很精致，但整体构图和跨区域的纹理一致性就崩了。我在调试时发现一个现象：SwinIR对高频纹理（比如草地、砖墙）的重建效果尚可，但一旦遇到低频结构（比如天空渐变、水面反光），输出就出现明显的块状伪影。更糟糕的是，当输入图像包含不同尺度的特征（比如近处的建筑和远处的山峦），模型会优先关注大尺度结构，小尺度细节直接被“淹没”在注意力权重里。HAT的混合注意力：不只是“加个窗口”那么简单HAT（Hybrid Attention Transformer）的解决方案很直接：既然单一尺度的注意力不够用，那就把不同尺度的注意力混合起来。但它的实现方式比我想象中要巧妙得多。通道注意力