20251027周一日记

前些日：
1.周五玩得挺爽，熬到五点多睡的，转天有点遗憾但还是玩得挺爽。见识到了大城市之间的差距。
2.周六回家，出去吃饭；周日在家，出去吃饭。听家人说各有各在拼搏的方向。

今日：
1.早上睡过了，从家回学校，从北门骑回来。回实验室继续看Foundation Models Survey。
2.快两点了，去简单吃点饺子，回来继续看综述，看困了趴会。
3.妈的趴醒了感觉有点感冒，看完了这篇综述总结在下面。晚上和同届哥们一起简单吃点儿，吃完遛遛回实验室。接着调研。
4.调研到了几篇3D assets generation的文章，看起来质量挺高，其中有一篇还是师姐推荐过的，同样列在下面，争取这周看完。

Foundation Models收获感悟
训练好的VLM可以用作解决其他需求或下游任务的基础模型，故而叫做Foundation Model。但这篇定稿于2023年，且没介绍GAN、VAE、Diffusion等，有所局限。
1.基本信息+Related Work
·根据输入的模态基本可以这么分类：文本输入/视觉输入/多态输入

·介绍了一些之前的Surveys，侧重点都不一样从文章里用灰色标出来了。其中[28][29]感觉可能有用我还没看。这篇Survey自称厉害之处是综合三种分类和提出了未来挑战展望。

2.必要背景
·基础模型定义：以自我监督或半监督的方式在大规模数据上训练的基础模型，可以适应其他几个下游任务。

·四种模型网络基本结构：双编码器（Text encoder+Image encoder），融合（Text encoder+Image encoder），编码器解码器（Text+Image encoder），适应性LLM（Text+Image encoder）。
·两种模型基本损失：对比，生成。学习对齐或根据前tokens预测下个token。

·三种数据集：图-文，部分融合，混合（文中有举例子）。
·微调：提升模型在具体任务中的表现，提升模型特定的能力，教模型解决不同的下游视觉任务。
·提示词工程：基本用于含有LLM的。把视觉数据转换成图-文数据，将视觉-语言模型用于视觉任务。

3.分别开始介绍（这里面介绍了一些好用的数据集、结构等，值得一用）
Part I：文本提示模型
·CLIP：数据规模很大（同样也是缺点），交叉熵损失。
·ALIGN：双编码器结构，用带噪的图像-描述对数据，图像-文本嵌入的余弦相似性通过归一化softmax损失？
·Florence：基础模型应该能够处理从粗到细（空间）、静态到动态（时间）以及从 RGB 到多模态（模态）的表示。
·FLIP：在训练期间屏蔽50~75%的输入像素，减少计算。
·MaskCLIP：随机遮蔽生掩码，蒸馏学习局部语义，交叉熵损失。
·逆缩放定律（inverse scaling law）：大的图-文模型可以使用较短的输入标记序列进行有效训练，而不会降低性能。可以在更少的输入tokens上微调模型。
·GPT4：transformer架构，私有数据集，非开源。

Part II：视觉提示模型
·SAM（Segment Anything）：对输入图像和提示词向量进行编码，组合进入轻量级掩码解码器中。数据集大。

Part III：混合模型
图像-文本、视频-音频、图像-深度等，这些基于异构模态的方法可以分为两类：将CLIP与异构模态对齐和将LLM与这些模态对齐。

4.挑战和下一步方向
评估和基准，幻觉，对象幻觉，多模态对齐，Low-rank Adaptation (LoRA)，防止攻击，偏见，上下文理解能力，...

3D Assets Generation文章：
PhysX-3D: Physical-Grounded 3D Asset Generation
DiffGS: Functional Gaussian Splatting Diffusion
3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion
REPARO: Compositional 3D Assets Generation with Differentiable 3D Layout Alignment
GenAssets: Generating in-the-wild 3D Assets in Latent Space

VAE/GAN/Diffusion文章：
Synthetic Scientific Image Generation with VAE, GAN, and Diffusion Model Architectures
OmniGen: Unified Image Generation （甚至开源了OmniGen2）