Spectral Adversarial MixUp for Few-Shot Unsupervised Domain Adaptation

摘要

域偏移是临床应用中的常见问题，其中训练图像（源域）和测试图像（目标域）处于不同的分布下。已经提出了无监督域适应 （UDA） 技术，以使在源域中训练的模型适应目标域。但是，这些方法需要来自目标域的大量图像进行模型训练。
本文提出了一种新的少样本无监督域适应（FSUDA）方法，其中只有有限数量的未标记目标域样本可用于训练。
首先引入频谱灵敏度图来表征频域中模型的泛化弱点。然后，我们开发了一种灵敏度引导的光谱对抗混搭（SAMix）方法来生成目标风格的图像，以有效抑制模型的灵敏度，从而提高模型在目标域中的泛化性。
代码地址

方法

Domain-Distance-Modulated Spectral Sensitivity (DoDiSS）模块

基于傅里叶的模型灵敏度测量获得的光谱灵敏度图可以有效地描述该模型的泛化性。然而，频谱敏感度图仅限于单域场景，无法整合目标域信息来评估特定域偏移下的模型弱点
本文引入了 DoDiSS，通过结合域距离来扩展之前的方法，以解决域适应问题的 Spectral Adversarial MixUp。
图 1 （a）首先计算域距离图，用于识别每个频率中源域和目标域之间的幅度分布差异。随后，该差分图用于在计算DoDiSS图时对幅度扰动进行加权。
域距离测量：首先使用各种几何变换的随机组合来增强来自目标域的少量图像，包括随机裁剪、旋转、翻转和 JigSaw。这些转换使图像强度保持不变，从而保留目标域样式信息。然后将快速傅里叶变换（FFT）应用于所有源图像和增强目标域图像，以获得其振幅谱图

通过测量的域差异，可以计算模型的 DoDiSS 映射。如图1（a）所示，傅里叶基被定义为一个厄米特矩阵Hi。傅里叶基像可以通过归一化逆快速傅里叶变换 （IFFT） 得到，为了分析模型相对于频率的泛化弱点，通过添加傅里叶基噪声到原始源域。
保证在实际域偏移后，图像在所有频率分量上受到扰动。对于RGB图像，独立地添加到每个通道中。在源域上训练的模型 F 在频率下的灵敏度定义为整个数据集的预测错误率

Sensitivity-Guided Spectral Adversarial Mixup (SAMix)模块

SAMix 使用 DoDiSS 映射 MS 和对抗学习的参数 λ作为加权因子，将每个源图像的振幅频谱与目标图像的频谱混合在一起。DoDiSS 表示模型对域差异敏感的光谱区域。
通过保留源图像的相位，SAMix在生成的目标样式中保留了原始源图像的语义含义。具体而言，如图1（b）所示，给定源图像xs和目标图像xt，我们计算它们的振幅和相位谱。SAMix 通过以下方式混合振幅频谱

实验结果