寺庙网站开发文案,wordpress免费主题插件下载,如何将域名和网站绑定域名,pedl中文模组网站前文#xff1a;最近跟着DataWhale组队学习这一期“Sora原理与技术实战”#xff0c;本篇博客主要是基于DataWhale成员、厦门大学平潭研究院杨知铮研究员分享的Sora技术原理详解课件内容以及参考网上一些博客资料整理而来#xff08;详见文末参考文献#xff09;#xff0…前文最近跟着DataWhale组队学习这一期“Sora原理与技术实战”本篇博客主要是基于DataWhale成员、厦门大学平潭研究院杨知铮研究员分享的Sora技术原理详解课件内容以及参考网上一些博客资料整理而来详见文末参考文献算是对Sora技术路径的发展有个系统性的认识。 Sora是什么 Sora是大火的人工智能公司OpenAI推出的新一代文生视频AI模型其官网为https://openai.com/sora。Sora的亮点在于最长支持60s高清视频生成、确保连续画面中人和场景的一致性、根据视频生成视频时具有丝滑视频过渡能力、同一场景多视角/镜头生成能力、支持任意分辨率、宽高比的视频生成因此秒杀Pika、Runway等同行在2024年2月份也火爆出拳OpenAI的技术报告称其为“作为世界模拟器的视频生成模型”源地址Video generation models as world simulators。然而Sora也有许多局限特别是对物理规律的理解仍然比较有限例如生成一个玻璃杯摔碎的场景时并未很好表现碎片四溢的物理过程。 Sora的能力可以总结为文生视频、图生视频和视频生成视频。Sora是通过不同长度、分辨率和长宽比的视频和图像数据共同训练出的一种“文本条件扩散模型”其中Sora只是模型名统称底层包含Diffusion model、Transformer等SOTA模型架构。 Sora模型训练 Sora模型架构 Sora整合了自家的GPT和DALL-E模型其中GPT-4就是基于Transformer架构的大型神经网络目前在自然语言处理领域独树一帜而最新的DALL-E 3是基于文本提示生成图像的图像生成模型。Sora使用了DALL-E 3中的重新标注技术准备了大量带有文本标题的视频数据通过训练一个高度描述性的标题模型为所有视频生成文本标题来提高文本准确性改善了视频质量。同时Sora利用GPT将用户简短的提示转化为更长、更详细的标题指导视频的生成过程从而使Sora能够生成高质量的视频并准确地遵循用户的指示。如下为一张Sora模型训练流程示意图 由于Sora未完全开放目前魔塔社区所推测的Sora模型架构与Latent Diffusion Model很像如下原始数据输入经过视频压缩网络后变成时间和空间上都被压缩的潜在表示随后在时空潜空间上基于conditioning训练中的video caption技术所生成视频-文本对的指导通过Diffusion TransformerDiT生成新的视频潜在表示最后经过解码器映射回像素空间。 Sora模型训练一些要点 类似于大语言模型LLM中的基本训练单位为文本token图像模型的基本训练单位图像patch通过visual encoder将高维度的视频数据NxHxW帧图像切分为图像块spatial temporal patch从而将视频压缩到一个低维度的spacetime latent space图像patch包含时间序列信息和空间像素信息基于patch的表示有助于模型处理图像局部信息并能训练具有不同分辨率、持续时间和长宽比的视频和图像图像patch将展开为一维向量并通过einops张量操作库进行操作从而有效处理图像数据 扩散模型之DDPM Sora采用了Diffusion模型中的DDPM (Denoising Diffusion Probabilistic Models作为图像生成模型。相比GAN来说Diffusion模型训练更稳定而且能够生成更多样本OpenAI的论文《Diffusion Models Beat GANs on Image Synthesis》也证明了Diffusion 模型能够超越GAN。一些主流的文生图像模型如DALL-E 2, stable diffusion以及Imagen都纷纷采用了Diffusion模型用于图像生成。 一般来说Diffusion模型包含两个过程均为一个参数化的马尔科夫链 (Markov chain) 前向扩散过程 (diffusion)对一张图像逐渐添加高斯噪音直至变成随机噪音的过程数据噪声化反向生成过程 (reverse diffusion)从随机噪音开始逐渐去噪直至生成一张图像这也是需要求解/训练的部分去噪生成数据 Diffusion模型与其它主流生成模型的对比如下所示 目前所采用的Diffusion模型大都是基于2020年的工作《DDPM: Denoising Diffusion Probabilistic Models》。DDPM对之前的扩散模型进行了简化和改进更加注重对噪声的预测而非直接生成图像并通过变分推断variational inference来进行建模这主要是因为扩散模型也是一个隐变量模型latent variable model相比VAE这样的隐变量模型扩散模型的隐变量是和原始数据是同维度的而且扩散过程往往是固定的。 DDPM的优化目标是让网络预测的噪音和真实的噪音一致其训练过程如下图所示 Training阶段随机选择一个训练样本 x 0 x_0 x0​ - 从 1 − T 1-T 1−T随机抽样一个 t t t - 随机产生噪音并计算当前所产生的带噪音数据 - 输入网络预测噪音红色框所示 - 计算产生的噪音和预测的噪音的L2损失 - 计算梯度并更新网络。Sampling阶段从一个随机噪音开始并用训练好的网络预测噪音然后计算条件分布的均值红色框所示然后用均值加标准差乘以一个随机噪音直至 t 0 t0 t0完成新样本的生成最后一步不加噪音。 PS实际的Sampling代码实现和上述过程略有区别而是先基于预测的噪音生成并进行了clip处理范围[-1, 1]原始数据归一化到这个范围然后再计算均值这应该算是一种约束既然模型预测的是噪音那么我们也希望用预测噪音重构处理的原始数据也应该满足范围要求 扩散模型的核心在于训练噪声预测模型由于噪声和数据同维度可以选择采用AutorEncoder架构作为噪声预测模型。DDPM所采用的是一个基于residual模块和self-attention模块的U-Net模型encoder-decoder架构。注意DDPM在各个residual模块中都引入了time embedding类似于transformer中的position embedding。 DDPM基于加噪和去噪的图像生成过程可以用一张图形象概括 Sora关键技术拆解 Sora可以拆分为Visual encoder, Diffusion Transformer和Transformer Decoder三个部分下面对其分别阐述 Visual encoder 输入的视频数据可以看成是NxHxW的若干帧图像 通过Encoder被切分成spatial temporal patch这些patch最终会被flatten成一维向量送入diffusion model。其中这里的patch的定义借鉴了Vision Transformer (ViT中的patch一些要点如下 由于这里的每个样本都是来自输入图像的一个patch模型对样本在序列中的位置一无所知。因此图像被连同positional embedding vector一起提供到encoder中。这里需要注意的一点是位置嵌入也是可学习的所以实际上不需要将硬编码的向量 w.r.t 位置。将一维压平的patches组成一个大矢量并得到乘以一个embedding矩阵这也是可学习的创建embedding patches。将这些与位置向量相结合输入到transformer中。 对视频进行采样/处理的方法包括 摊大饼法帧图像拼接成大图切成token此后按ViT方式处理切块法对多帧图像切为若干个tuplet每个tuplet包含时间、宽、高信息经过spatial-tempral attention直接建模获得有效的视频表征token Diffusion Transformer Sora的主要是Peebles William直博3年半期间3篇一作论文非常solid他于2023年在ICCV上发表了Diffusion Transformer (DiT) 的工作可以认为DiT VAE encoder ViT DDPM VAE decoder但把DPPM中的卷积U-Net架构换成了transformer。这篇工作是通过结合diffusion model和transformer从而达到可以scale up model来提升图像生成质量的效果。DiT文章在technical report的reference中给出由于把图像的scaling技术运用到视频场景也非常直观因此可以确定是Sora的技术之一。 下图展示了DiT的主要原理输入是一张256x256x3的图片对图片做切patch后经过投影得到每个patch的token得到32x32x4的latent在推理时输入直接是32x32x4的噪声)结合当前的step t 输入label y作为输入 经过N个DiT Block通过mlp进行输出得到输出的噪声以及对应的协方差矩阵经过T个step采样得到32x32x4的降噪后的latent。 思考与总结 截止到2024年3月2日Sora还未完全开放使用只有内测现有的中文互联网中所谓“带你玩转Sora”的AI付费课程都是纯纯割韭菜Sora文生视频模型可谓是之前许多模型的集大成者虽然没有公开太多技术细节但我们可以学习到Sora背后所涉及的一系列模型架构和训练方法如Transformor, Diffusion模型等要训练一个多模态大模型LMM海量训练数据 优秀模型架构 算力资源都缺一不可其中算力限制对中国公司发展人工智能提出了挑战作为一家违背“不盈利造福人类”初衷的微软旗下闭源商业公司dogeOpenAI是不会透露过多许多技术细节的包括如何构建Sora的具体模型、Transformer需要scale up到多大、从头训练到收敛的trick、如何实现训练长达1分钟视频的支持切断性能优化、如何保证视频实体的高质量和一致性这些我们都还不完全清楚需要大量工程实践去摸索。 参考文献 [1] DataWhale开源课程《Sora原理与技术实战》 [2] DataWhale成员优秀笔记分享sora笔记一sora前世今生与技术梗概 [3] 怎么理解今年 CV 比较火的扩散模型DDPM - 小小将的回答 - 知乎 https://www.zhihu.com/question/545764550/answer/2670611518 [4] Ho, J., et al. (2020). “Denoising diffusion probabilistic models.” Advances in Neural Information Processing Systems 33: 6840-6851. [5] Peebles, W. and S. Xie (2023). Scalable diffusion models with transformers. Proceedings of the IEEE/CVF International Conference on Computer Vision.