方案:VAE Encoder(视频压缩) -> Transform Diffusion (从视频数据中学习分布,并根据条件生成新视频) -> VAE Decoder (视频解压缩)
从博客出发,经过学术Survey,可以推断出全貌。一句话结论:
Sora是采用了Meta的 DiT (2022.12) 框架,
融合了Google的 MAGViT (2022.12) 的Video Tokenize方案,
借用Google DeepMind的NaViT (2023.07) 支持了原始比例和分辨率,
使用OpenAI DALL-E 3 (2023.09) 里的图像描述方案生成了高质量Video Caption(视频描述),即文本-视频对,实现了准确的条件生成。
百川2
Reward Model:
Prompt多样性:构造了一个200+细分类目的数据体系,尽可能覆盖用户需求,同时提升每类prompt多样性,从而提升泛化能力
Response多样性:用不同尺寸和阶段的百川模型生成答案,不使用其他开源模型(经验证无法提升RM准确率)
RM:
设计了一个三层分类系统全面覆盖所有类型的用户需求,包括6个主要类别、30个二级类别、200多个三级类别。
在奖励模型训练时,需要保证每个类别内的数据应该有足够的多样性,以确保奖励模型能够有更好地泛化性。
并且奖励数据中结果需要由Baichuan2模型生成,以确保数据分布的统一。