前言

本文阅读论文《Modality Perception Learning-Based Determinative Factor Discovery for MultimodalFake News Detection》。虚假新闻通常依赖夸张的语言风格、篡改的图像、不一致的多模态上下文等特征。虚假新闻检测应遵循“逻辑与”原则，即便大部分内容合理，只要存在少量不合理内容，即可判定为虚假。

一、现有方法

二、本文方法

1. 对于某一特征，用 CNN 提取模态特定的特征，用 CLIP 提取一致特征，然后拼接。其中，文本编码器是 CNN + 池化，图像编码器是 ResNet-50；
2. 引入可学习的记忆向量以提取不同模态特征真假模式，并进一步与提取的特征拼接；
3. 使用多头自注意力增强每个模态自身的特征表示；
4. 模仿人类先看图片辅助理解文字的习惯，以图像特征作为 Q，文本特征作为 K 和 V，通过跨模态注意力让图像信息增强文本信息f t v f_{tv}ftv​。然后，模仿人类反复对照图文、捕捉深层线索的行为，进一步增强文本信息，同时使用视觉增强的文本特征作为 Q 增强原始图像特征；
5. 用VAE将文本特征和图像特征分别映射到潜在空间，然后计算二者的 KL 散度，并用 sigmoid 将其映射到 0-1 区间。h hh越大，图文越不一致，将h hh作为多模态融合特征权重，1 − h 1-h1−h作为单模态特征权重；
6. 将加权后的四个特征拼接起来，并送入一个全连接层分类器进行真假二分类。

总结

文章的动机有点以结果为导向。