SHIELD : An Evaluation Benchmark for Face Spoofing and Forgery Detection with Multimodal Large Language Models

➡️ 论文标题：SHIELD : An Evaluation Benchmark for Face Spoofing and Forgery Detection with Multimodal Large Language Models
➡️ 论文作者：Yichen Shi, Yuhao Gao, Yingxin Lai, Hongyang Wang, Jun Feng, Lei He, Jun Wan, Changsheng Chen, Zitong Yu, Xiaochun Cao
➡️ 研究机构: Shanghai Jiao Tong University、Shijiazhuang Tiedao University、Xiamen University、Eastern Institute of Advanced Study、University of California, Los Angeles、NLPR, CASIA、Shenzhen University、Great Bay University、Sun Yat-sen University
➡️ 问题背景：多模态大语言模型（Multimodal Large Language Models, MLLMs）在各种视觉领域（如通用对象识别和定位）中展示了卓越的问题解决能力，基于强大的视觉语义表示和语言推理能力。然而，MLLMs是否对细微的视觉欺骗/伪造线索敏感，以及它们在面部攻击检测领域的表现如何，仍是一个未探索的领域。当前的面部攻击检测模型通常专注于单一模态或特定类型的欺骗攻击，缺乏对更广泛和多样攻击场景的适应性。
➡️ 研究动机：为了探索MLLMs在面部攻击检测领域的应用潜力和优势，研究团队引入了一个新的基准测试——SHIELD，用于评估MLLMs在面部欺骗和伪造检测任务中的能力。通过设计多项选择和真假问题，评估多模态面部数据，旨在为未来的生物识别安全提供有价值的见解和方法。
➡️ 方法简介：研究团队构建了SHIELD基准测试，包括面部反欺骗任务和面部伪造检测任务。对于面部反欺骗任务，评估了三种不同的模态（RGB、红外、深度）在四种类型的呈现攻击（打印攻击、重放攻击、刚性面具、纸面具）下的表现。对于面部伪造检测任务，评估了基于GAN和扩散模型的数据，同时考虑了视觉和声学模态。每个问题都在零样本和少样本测试中进行了评估，包括标准设置和链式思维（COT）设置。
➡️ 实验设计：实验在多个公开数据集上进行，包括WMCA数据集（用于面部反欺骗任务）和FaceForensics++数据集（用于面部伪造检测任务）。实验设计了不同类型的攻击（如打印攻击、重放攻击、刚性面具、纸面具）和不同的模态（RGB、红外、深度），以及不同类型的伪造技术（如Deepfakes、Face2Face、FaceSwap、NeuralTextures）。每个任务都设计了真假问题和多项选择问题，以全面评估MLLMs在不同条件下的表现。此外，研究团队还提出了一种新的多属性链式思维（MA-COT）范式，用于描述和判断面部图像的各种任务特定和任务无关属性，提供丰富的任务相关知识，以挖掘细微的欺骗/伪造线索。

MLLM-as-a-Judge: Assessing Multimodal LLM-as-a-Judge with Vision-Language Benchmark

➡️ 论文标题：MLLM-as-a-Judge: Assessing Multimodal LLM-as-a-Judge with Vision-Language Benchmark
➡️ 论文作者：Dongping Chen, Ruoxi Chen, Shilin Zhang, Yinuo Liu, Yaochen Wang, Huichi Zhou, Qihui Zhang, Yao Wan, Pan Zhou, Lichao Sun
➡️ 研究机构: 华中科技大学、浙江工业大学、LAIR Lab（Lehigh University）
➡️ 问题背景：多模态大语言模型（MLLMs）在生成内容方面取得了显著进展，尤其是在文本生成、代码生成和视频合成等领域。然而，评估MLLMs的效用面临巨大挑战，主要是因为缺乏与人类偏好对齐的多模态基准。受LLM-as-a-Judge概念的启发，本文提出了一种新的基准，称为MLLM-as-a-Judge，用于评估MLLMs在不同模态任务中的辅助判断能力。
➡️ 研究动机：尽管MLLMs在某些任务中表现出与人类偏好高度一致的能力，但在评分评估和批量排名任务中，这些模型与人类偏好的差异显著。此外，研究发现，即使在高级模型如GPT-4V中，也存在多种偏见、幻觉响应和判断不一致的问题。这些发现强调了在将MLLMs视为可靠评估者之前，需要进行改进和进一步研究。
➡️ 方法简介：研究团队构建了一个包含14个数据集的综合基准，涵盖图像描述、数学推理、文本阅读和信息图理解等任务，共收集了4,414个图像-指令对。随后，使用六个主流的MLLMs生成响应，并通过人类评估者进行严格注释，以确保对MLLMs判断的公正和全面评估。
➡️ 实验设计：实验在三个不同的评估设置下进行，包括评分评估、成对比较和批量排名。实验设计了不同任务和设置下的评估，以全面评估MLLMs在多模态任务中的判断能力。研究发现，GPT-4V在所有任务和设置中表现最佳，而其他模型如Gemini、LLaVA和CogVLM则表现较差。此外，研究还揭示了MLLMs在判断过程中存在的幻觉、偏见和不一致问题。

SceMQA: A Scientific College Entrance Level Multimodal Question Answering Benchmark

➡️ 论文标题：SceMQA: A Scientific College Entrance Level Multimodal Question Answering Benchmark
➡️ 论文作者：Zhenwen Liang, Kehan Guo, Gang Liu, Taicheng Guo, Yujun Zhou, Tianyu Yang, Jiajun Jiao, Renjie Pi, Jipeng Zhang, Xiangliang Zhang
➡️ 研究机构: University of Notre Dame、New York University、Hong Kong University of Science and Technology
➡️ 问题背景：当前的多模态问答（Multimodal Question Answering, MMQA）基准测试主要集中在小学到大学水平，但忽略了高中和大学入学水平这一关键教育阶段。这一阶段的学习内容对人类学习过程至关重要，但现有的基准测试要么过于简单，要么难度过高，无法全面评估AI模型在这一阶段的表现。
➡️ 研究动机：为了填补这一空白，研究团队开发了一个新的基准测试——SceMQA（Science College Entrance Level Multimodal Question Answering），专门针对高中和大学入学水平的多模态科学问题。SceMQA涵盖了数学、物理、化学和生物四个核心科学科目，旨在评估AI模型在解决复杂科学问题时的多模态理解和推理能力。
➡️ 方法简介：SceMQA包含261个问题，每个科目平均65个问题，问题形式包括选择题和自由回答题。每个问题都配有详细的解答和解释，并且每个问题都关联了特定的知识点。此外，SceMQA还设计了基于同一背景但不同问题的题组，以测试模型的深度理解和推理能力。
➡️ 实验设计：研究团队在SceMQA上评估了多个开源和闭源的多模态大语言模型（MLLMs），包括InstructBLIP、MiniGPT4、LLaVA、Google Bard、Gemini Pro和GPT4-V。实验设置了零样本、少样本和仅文本三种模式，以全面评估模型在不同条件下的表现。结果表明，即使是性能最强的模型（如GPT4-V），在SceMQA上的准确率也仅为50%到60%，显示出进一步研究和开发的必要性。

$\lambda$-ECLIPSE: Multi-Concept Personalized Text-to-Image Diffusion Models by Leveraging CLIP Latent Space

➡️ 论文标题：$\lambda$-ECLIPSE: Multi-Concept Personalized Text-to-Image Diffusion Models by Leveraging CLIP Latent Space
➡️ 论文作者：Maitreya Patel, Sangmin Jung, Chitta Baral, Yezhou Yang
➡️ 研究机构: Arizona State University
➡️ 问题背景：当前的个性化文本到图像（P-T2I）生成模型在实现高保真度和多样性方面取得了显著进展，但多主体驱动的个性化生成仍面临资源效率低下和泛化能力不足的问题。现有的方法，如Hypernetworks和多模态大语言模型（MLLMs），虽然能够实现快速个性化，但需要大量的计算资源，从600到12300 GPU小时不等。这些方法依赖于潜在扩散模型（LDMs）的潜在空间，导致资源消耗巨大，且结果不一致。
➡️ 研究动机：为了提高多概念个性化图像生成的资源效率，研究团队提出了一种新的训练策略，即λ-ECLIPSE，该策略在预训练的CLIP模型的潜在空间中工作，而不需要依赖扩散UNet模型。研究旨在通过减少对扩散模型的依赖，提高多主体驱动个性化生成的效率和性能。
➡️ 方法简介：λ-ECLIPSE通过利用UnCLIP T2I模型的特性，将输出空间与CLIP视觉空间对齐，而不是CLIP文本空间。该方法接受多张图像和文本指令作为输入，估计相应的视觉嵌入，这些嵌入可以被冻结的扩散UNet模型用于生成图像。此外，λ-ECLIPSE还引入了图像-文本交错预训练策略，通过创建200万高质量的图像-文本对，将文本嵌入替换为相应的图像嵌入，以优化映射到目标潜在空间的过程。
➡️ 实验设计：研究在Dreambench、Multibench和ConceptBed三个公开数据集上进行了实验，评估了λ-ECLIPSE在单主体和多主体驱动个性化生成任务中的性能。实验设计了不同的控制条件，如Canny边缘图，以评估模型在不同条件下的表现。实验结果表明，λ-ECLIPSE在仅34M参数和74 GPU小时的训练下，能够实现与大型模型相当的性能，同时在概念和组成对齐方面表现出色。

LLaVA-Docent: Instruction Tuning with Multimodal Large Language Model to Support Art Appreciation Education

➡️ 论文标题：LLaVA-Docent: Instruction Tuning with Multimodal Large Language Model to Support Art Appreciation Education
➡️ 论文作者：Unggi Lee, Minji Jeon, Yunseo Lee, Gyuri Byun, Yoorim Son, Jaeyoon Shin, Hongkyu Ko, Hyeoncheol Kim
➡️ 研究机构: Korea University, University of Nebraska-Lincoln, Seoul Metropolitan Office of Education, Seoul National University, Seoul National University of Education
➡️ 问题背景：尽管各种AI系统在不同领域支持学习方面取得了进展，但在艺术鉴赏教育中，AI辅助的应用尚未得到广泛探索。艺术鉴赏通常被视为少数人的精英活动，许多人在日常生活中遇到艺术时会感到 intimidat 或缺乏信心。缺乏有效的指导和教育阻碍了人们与艺术的深入互动。本研究探讨了多模态大语言模型（MLLMs）在艺术鉴赏教育中的应用，特别是开发了 LLaVA-Docent，旨在作为艺术鉴赏的个人导师。
➡️ 研究动机：研究旨在通过开发 LLaVA-Docent，解决艺术鉴赏教育中的挑战，如缺乏个性化反馈、互动有限等问题。研究团队希望通过结合建构主义教学理论和AI技术，提供一种新的艺术鉴赏教育方法，使艺术鉴赏更加可及和有意义。
➡️ 方法简介：研究团队采用设计与开发研究（DDR）方法，通过迭代增强设计和开发 LLaVA-Docent。研究包括六个阶段：原型开发、文献回顾与初步验证、数据设计框架的验证与精炼、数据生成、模型训练和模型评估。研究团队还建立了一个虚拟对话数据集，用于训练 LLaVA-Docent，并通过定量和定性方法评估了模型的性能。
➡️ 实验设计：研究团队使用了 vicuna-13b-v1.5 作为语言模型，clip-vit-large-patch14 作为图像编码器，并通过线性层进行模态投影。模型训练分为预训练和微调两个阶段。预训练阶段使用了 cc3m_595k_images 数据集，微调阶段使用了 LLaVA-Instruct-150K 数据集。模型评估包括与 GPT-4 的对比测试，以及基于 Anderson 的关键阶段理论的对话质量评估。