FashionLOGO: Prompting Multimodal Large Language Models for Fashion Logo Embeddings

➡️ 论文标题：FashionLOGO: Prompting Multimodal Large Language Models for Fashion Logo Embeddings
➡️ 论文作者：Zhen Wang, Da Li, Yulin Su, Min Yang, Minghui Qiu, Walton Wang
➡️ 研究机构: ByteDance Inc.
➡️ 问题背景：当前的商标嵌入模型主要依赖于纯视觉理解，忽略了文本信息对商标识别的辅助作用。这种模型在处理商标时，往往无法充分关注到图像中的商标区域，尤其是在商标占据图像较小面积的情况下。研究团队提出了一种新的框架——FashionLOGO，通过利用多模态大语言模型（MLLMs）生成的文本信息，增强视觉模型对商标的嵌入能力。
➡️ 研究动机：现有的商标嵌入方法主要关注于视觉特征的提取，而忽视了文本信息的辅助作用。研究团队旨在通过结合文本信息，提高视觉模型对商标区域的关注度，从而生成更通用和鲁棒的商标嵌入。
➡️ 方法简介：FashionLOGO框架包括三个主要模块：视觉编码器（提取图像特征）、文本编码器（生成文本信息）和表示增强模块（融合视觉和文本特征）。研究团队使用了LLaVA生成三种类型的文本信息（OCR文本、简要描述和详细描述），并通过交叉注意力机制将这些文本信息与视觉特征融合，以增强商标嵌入。
➡️ 实验设计：研究团队在Logodet3K和Open Brands两个数据集上进行了训练，并在多个基准数据集上进行了评估，包括Open Brands、Logo-2K+和IPRLogo。实验结果表明，FashionLOGO在所有基准测试中均表现出色，特别是在跨域泛化能力方面，相比其他基线模型有显著提升。

Imaginations of WALL-E : Reconstructing Experiences with an Imagination-Inspired Module for Advanced AI Systems

➡️ 论文标题：Imaginations of WALL-E : Reconstructing Experiences with an Imagination-Inspired Module for Advanced AI Systems
➡️ 论文作者：Zeinab Sadat Taghavi, Soroush Gooran, Seyed Arshan Dalili, Hamidreza Amirzadeh, Mohammad Jalal Nematbakhsh, Hossein Sameti
➡️ 研究机构: Sharif University of Technology
➡️ 问题背景：当前的大型语言模型（LLMs）和多模态大型语言模型（MLLMs）在自然语言处理任务中表现出色，但主要局限于文本模态。研究团队提出了一种新的AI系统，该系统通过引入一个受想象力启发的模块，能够将文本输入转化为图像，从而丰富了从文本中提取的信息，并生成了独立的感知，这种感知可能与人类的感知不同但同样有效。
➡️ 研究动机：现有的AI系统在处理多模态数据时，通常依赖于用户提供的多模态数据。为了打破这一限制，研究团队设计了一个能够自动生成其他模态数据的系统，从而在不依赖用户提供的多模态数据的情况下，实现对多种数据类型的处理、生成和整合。此外，该系统还借鉴了哲学和心理分析中的想象力概念，旨在使AI系统能够生成深刻且有意义的信息。
➡️ 方法简介：研究团队提出了一种系统的方法，通过将文本输入转化为图像，然后将文本和图像一起输入到多模态大型语言模型（MLLM）中，来评估该系统的性能。该系统的核心是一个多模态大型语言模型，能够处理和生成多种模态的数据。此外，研究团队还设计了一系列实验，以评估该系统在不同任务中的表现，包括情感识别和问答任务。
➡️ 实验设计：研究团队在多个公开数据集上进行了实验，包括MELD、IEMOCAP和CoQA数据集。实验设计了不同的输入处理方式，如仅关注文本、仅关注图像、同时关注文本和图像等，以及特殊指令，如将任务视为分类任务、选择情感等，以全面评估系统的性能。实验结果表明，该系统在情感识别和问答任务中均优于其他大型语言模型。

WanJuan: A Comprehensive Multimodal Dataset for Advancing English and Chinese Large Models

➡️ 论文标题：WanJuan: A Comprehensive Multimodal Dataset for Advancing English and Chinese Large Models
➡️ 论文作者：Conghui He, Zhenjiang Jin, Chao Xu, Jiantao Qiu, Bin Wang, Wei Li, Hang Yan, Jiaqi Wang, Dahua Lin
➡️ 研究机构: Shanghai AI Laboratory
➡️ 问题背景：随着ChatGPT和GPT-4等大型模型的兴起，大规模语言模型（LLMs）和多模态大型语言模型（MLLMs）的发展显著加速。这些模型的卓越性能得益于高质量的数据。然而，由于训练数据的细节通常保密，加上开源数据的稀缺，这阻碍了社区的进一步发展。为应对这一挑战，本文介绍了“Wan Juan”，一个包含中文和英文数据的大型多模态数据集，数据来源广泛，总容量超过2TB。
➡️ 研究动机：为了促进大型语言模型和多模态模型的发展，研究团队构建了“Wan Juan”数据集，旨在提供一个高质量、多模态的数据资源，以支持模型训练和多模态任务的研究。该数据集不仅包括文本数据，还包括图像-文本和视频数据，覆盖了多个领域，确保了数据的多样性和高质量。
➡️ 方法简介：研究团队从多个来源收集、处理和筛选了文本、图像-文本和视频数据。文本数据涵盖了科技、文学、媒体、教育和法律等多个领域；图像-文本数据涵盖了新闻事件、人物、自然景观和社会生活等多个领域；视频数据涵盖了军事、艺术、体育、自然、现实世界、知识、电影艺术、媒体、食品、历史、科学和教育等多个领域。数据集的构建过程中，通过算法处理和人工验证，确保了数据的安全性、高质量和价值一致性。
➡️ 实验设计：数据集包括超过6亿份文本文档（数据存储量超过1TB）、超过2200万份图像-文本文档（数据大小超过200GB）和超过1000个视频文件（数据大小超过900GB）。数据集的构建过程中，采用了多步骤的文本提取、语言检测、语料库过滤和去重等方法，以确保数据的高质量。此外，还训练了内容安全模型和数据质量模型，以过滤有害和低质量的内容。

VIGC: Visual Instruction Generation and Correction

➡️ 论文标题：VIGC: Visual Instruction Generation and Correction
➡️ 论文作者：Bin Wang, Fan Wu, Xiao Han, Jiahui Peng, Huaping Zhong, Pan Zhang, Xiaoyi Dong, Weijia Li, Wei Li, Jiaqi Wang, Conghui He
➡️ 研究机构: Shanghai AI Laboratory, SenseTime Research, The Chinese University of Hong Kong, Sun Yat-sen University
➡️ 问题背景：当前的多模态大语言模型（Multimodal Large Language Models, MLLMs）在视觉-语言任务中取得了显著进展，但高质量的指令调优数据的稀缺仍然是一个挑战。现有的方法，如LLaVA，依赖于仅语言的GPT-4生成数据，这需要预标注的图像描述和检测边界框，导致对图像细节的理解不足。此外，现有的MLLMs在生成数据时往往产生不充分的响应和虚假信息，如幻觉现象。
➡️ 研究动机：为了解决上述问题，研究团队提出了视觉指令生成与校正（Visual Instruction Generation and Correction, VIGC）框架，旨在利用现有的视觉-语言模型自动生成高质量的指令调优数据，并通过迭代更新机制减少模型幻觉现象，从而提高数据质量。
➡️ 方法简介：VIGC框架由两个子模块组成：视觉指令生成（Visual Instruction Generation, VIG）和视觉指令校正（Visual Instruction Correction, VIC）。VIG模块负责生成与特定指令相关的视觉问答对，而VIC模块通过迭代更新机制（Iterative Q-Former, IQF）校正VIG生成的数据，减少幻觉现象，确保数据的准确性。
➡️ 实验设计：研究团队在两个类型的视觉-语言指令调优数据集上训练了VIGC网络，包括手动标注的LLaVA数据集和来自公开图像-文本数据集的多模态指令调优数据。实验评估了VIGC在处理相同或不同图像域数据集（如COCO和Objects365）上的有效性。实验结果表明，VIGC不仅弥补了仅语言数据生成方法的不足，还显著提升了基准性能。

Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models

➡️ 论文标题：Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models
➡️ 论文作者：Chi Chen, Ruoyu Qin, Fuwen Luo, Xiaoyue Mi, Peng Li, Maosong Sun, Yang Liu
➡️ 研究机构: 清华大学计算机科学与技术系、清华大学人工智能产业研究院、中国科学院计算技术研究所
➡️ 问题背景：多模态大语言模型（MLLMs）通过视觉指令调优，使大语言模型（LLMs）能够解释图像，取得了显著的成功。然而，现有的视觉指令调优方法仅利用图像-语言指令数据来对齐语言和图像模态，缺乏更细粒度的跨模态对齐。这导致了模型在详细图像理解方面的能力有限，尤其是在处理复杂场景中的特定对象时。
➡️ 研究动机：为了增强MLLMs的细粒度图像理解和交互能力，研究团队提出了位置增强的视觉指令调优（PVIT），通过集成区域级视觉编码器，促进模型对图像的更详细理解。此外，研究还旨在通过构建区域级指令数据集和设计新的评估数据集，来解决细粒度多模态指令数据稀缺的问题。
➡️ 方法简介：PVIT通过在现有的MLLM基础上集成一个区域级视觉编码器，扩展了模型的功能。该编码器从RegionCLIP中提取区域特征，并通过线性投影层将这些特征映射到LLM的表示空间。研究团队设计了两阶段的训练策略，首先预训练线性投影层以对齐区域特征，然后进行端到端的微调以支持复杂的细粒度指令。
➡️ 实验设计：研究在MS COCO和GQA数据集上进行了实验，评估了模型在对象识别和多模态推理任务上的性能。实验设计了不同的数据生成策略，包括数据集转换、任务特定指令数据生成和通用指令数据生成，以构建区域级指令数据集。此外，研究团队还提出了一个新的评估数据集FineEval，专门用于评估MLLMs在遵循需要细粒度空间细节的指令方面的能力。