许多人工智能的最新进展都源于表示学习：机器学习模型学习将数据项表示为多维空间中的向量，其中向量之间的几何关系对应着项目之间的语义关系。某机构的M5团队致力于构建与某中心商店相关数据（产品描述、查询、评论等）的通用语义表示，这些表示可供整个某机构的机器学习系统使用。其方法涉及利用每个实体可访问的所有数据，这些数据通常跨越多种模态。
生成通用表示最成功的方法之一是对比学习，模型在输入对上进行训练，这些输入对要么是正例（相似的输入/产品），要么是负例（不相似的输入/产品）。模型学习将正例拉近，将负例推开。
在最近的两篇论文中，M5研究人员对对比学习的理论和实践做出了实质性贡献。在2022年神经信息处理系统会议上发表的论文《为什么在对比学习中需要大批量？一个梯度偏差的视角》中，提出了一种新的对比学习损失函数，使模型能够以更低的内存成本和更少的训练数据收敛于有用的表示。
而在今年计算机视觉与模式识别会议上发表的论文《理解与构建多模态表示学习中的潜在模态结构》中，提出了对同一数据项不同模态（例如图像和文本）表示的几何约束。这些约束比简单地尝试将两种表示解析到表示空间中的同一点，对下游任务更有用。
对比学习需要大批量吗？
与标准的机器学习方法相比，对比学习通常需要非常大的批量才能获得良好的性能：例如，一些流行模型需要数万个训练样本，显著增加了内存开销；减少批量大小可能会损害性能。在NeurIPS论文中，试图理解这一现象并提出缓解技术。
对比学习的部分吸引力在于它是无监督的，这意味着它不需要数据标注。正例对可以通过数学变换一个“锚样本”并将变换后的版本与原始版本配对来生成；负例对可以通过将锚样本与其他锚样本的变换版本配对来生成。对于图像数据，变换可能涉及重新裁剪、反转或扭曲锚样本的颜色；对于文本数据，变换可能涉及用同义词替换句子中的单词。
给定表示空间中向量之间的相似性度量，对比学习的标准损失函数涉及一个比率，其分子包含锚样本与其某个变换之间的相似性；分母包含锚样本与所有可能的负样本的相似性之和。训练的目标是最大化该比率。
原则上，考虑到对负样本应用变换的可能性，“所有可能的负样本”可能描述一个无限集合。实际上，对比学习通常只依赖训练批次中可用的负例。因此需要大批量——以近似一个无限和。
如果小批量样本的分布与可能负例的分布不同，这种近似可能会使模型产生偏差。纠正偏差的一个困难在于，由于损失函数将每个正例对与所有可能的负例一次性地在一个比率中进行对比，它不能被分解为子损失之和。
使用贝叶斯增强来解决可分解性问题。总体方法是，为每个锚样本创建一个随机辅助变量，可以将其视为应用于锚样本相似性得分的权重。利用伽马函数下的恒等式，可以证明该辅助变量遵循伽马分布，易于采样。因此，可以将损失重写为指数形式而非分数形式，使其可分解。
在训练期间，首先从伽马分布中采样当前数据批次的辅助变量，得到所有锚样本相似性得分的权重。以采样值为条件，然后应用最大似然估计来优化模型参数，模型将考虑第一步中相似性得分的采样权重。然后对整个数据集重复此过程，将一系列（加权的）子损失相加以产生累积损失。在论文中表明，该过程将收敛于原始对比损失函数的期望损失，其分母是无限和。
通过一系列实验评估该方法。其中一个实验使用模拟数据，并注入噪声以模拟偏差。然后使用我们的损失和传统损失函数训练模型10次，每次使用不同的初始化值。在噪音水平较高时，使用传统损失训练的模型未能收敛，而我们的模型则持续收敛至最优值。
还在各种下游任务上评估模型，包括零/少样本图像分类和图像/文本检索。该方法相较于最先进的基线方法显示出显著的性能提升。
哪种几何结构最适合多模态表示匹配？
在M5，正在构建可处理多模态数据的可扩展模型，例如在不同语言产品描述之间进行翻译的多语言模型，或联合建模同一产品不同图像的多实体模型。对比学习是构建此类模型的一种有前景的方法：与同一产品相关的不同模态数据可以被视为正例对，对比学习将它们拉近在表示空间中。
从理论上研究了标准对比学习框架在下游任务预测错误率方面是否最优，而令人惊讶的答案是否定的。在CVPR论文中证明，如果两种模态之间的信息差距很大——即，如果无法从一种模态推断出另一种模态的太多信息——那么使用标准对比学习表示所能期望的最佳预测错误率，将比直接在单一模态数据上训练机器学习模型所能达到的错误率更大。
这在直觉上是有道理的。理想情况下，对比学习会将不同的模态拉得非常紧密，以至于它们基本上会在表示空间中解析为单个点。但当然，在下游任务中使用多模态表示的原因是每种模态都可能捕捉到另一种模态没有的有用信息。将不同模态的表示压缩在一起会抵消这一优势。
因此，在CVPR论文中，探索了表示空间中的不同几何关系，这些关系可以在不牺牲每种模态特有信息的情况下，建立多模态数据之间的关联。提出了三种在表示空间中构建模态结构的一般方法，分别适用于模态内表示、模态间表示以及两者的组合：
- 用于模态内正则化的深度特征分离损失，它使用两种类型的神经网络组件来分离不同的模态信息：一个组件捕捉模态之间共享的信息（根据标准对比学习损失进行调整），另一个与第一个正交的组件捕捉该模态特有的信息。
- 用于模态间正则化的“布朗桥”损失，它使用布朗运动绘制从一种模态表示到另一种模态表示之间的多条轨迹/过渡，并约束增强数据的表示位于其中一条路径上。
- 用于模态内和模态间正则化的几何一致性损失，它在一个模态内的表示与另一模态中对应表示之间的关系中强制对称性，同时在跨模态几何关系中也强制对称性。
在两个流行的多模态表示学习框架（基于CLIP的双塔模型和基于ALBEF的融合模型）上进行了大量实验。在零/少样本图像分类、图像-文本检索、视觉问答、视觉推理和视觉蕴涵等各种任务上测试了模型。该方法相对于现有方法实现了一致的改进，证明了所提出的多模态表示学习方法有效性和泛化能力。
展望未来
NeurIPS和CVPR论文仅代表了M5团队中两个有趣的项目。M5内部正在进行更多关于多模态学习的研究。这包括用于图像、视频和文本的生成模型，以实现数据合成和表示学习，以及训练和应用大型语言模型来增强客户购物体验。预计在不久的将来会报告更多的研究亮点。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
