上海网站建设制作微信,莱芜房产网官网,wordpress侧边栏插件,电脑版网站建设源#xff5c;机器之心编#xff5c;张倩、杜伟谷歌、Meta 等科技巨头又挖了一个新坑。在文本转图像上卷了大半年之后#xff0c;Meta、谷歌等科技巨头又将目光投向了一个新的战场#xff1a;文本转视频。上周#xff0c;Meta 公布了一个能够生成高质量短视频的工具——Ma…源机器之心编张倩、杜伟谷歌、Meta 等科技巨头又挖了一个新坑。在文本转图像上卷了大半年之后Meta、谷歌等科技巨头又将目光投向了一个新的战场文本转视频。上周Meta 公布了一个能够生成高质量短视频的工具——Make-A-Video利用这款工具生成的视频非常具有想象力。当然谷歌也不甘示弱。刚刚该公司 CEO Sundar Pichai 亲自安利了他们在这一领域的最新成果两款文本转视频工具——Imagen Video 与 Phenaki。前者主打视频品质后者主要挑战视频长度可以说各有千秋。下面这个洗盘子的泰迪熊就是用 Imagen Video 生成的可以看到画面的分辨率和连贯性都有一定的保障。下面这个片段是由 Phenaki 生成的视频长达 2.5 分钟。可以看出模型对于长 prompt 的解析非常出色。这段视频的prompt为「First person view of riding a motorcycle through a busy street. First person view of riding a motorcycle through a busy road in the woods. First person view of very slowly riding a motorcycle in the woods. First person view braking in a motorcycle in the woods. Running through the woods. First person view of running through the woods towards a beautiful house. First person view of running towards a large house. Running through houses between the cats. The backyard becomes empty. An elephant walks into the backyard. The backyard becomes empty. A robot walks into the backyard. A robot dances tango. First person view of running between houses with robots. First person view of running between houses; in the horizon, a lighthouse. First person view of flying on the sea over the ships. Zoom towards the ship. Zoom out quickly to show the coastal city. Zoom out quickly from the coastal city.」Imagen Video给出文本提示生成高清视频生成式建模在最近的文本到图像 AI 系统中取得了重大进展比如 DALL-E 2、Imagen、Parti、CogView 和 Latent Diffusion。特别地扩散模型在密度估计、文本到语音、图像到图像、文本到图像和 3D 合成等多种生成式建模任务中取得了巨大成功。谷歌想要做的是从文本生成视频。以往的视频生成工作集中于具有自回归模型的受限数据集、具有自回归先验的潜变量模型以及近来的非自回归潜变量方法。扩散模型也已经展示出了出色的中等分辨率视频生成能力。在此基础上谷歌推出了 Imagen Video它是一个基于级联视频扩散模型的文本条件视频生成系统。给出文本提示Imagen Video 就可以通过一个由 frozen T5 文本编码器、基础视频生成模型、级联时空视频超分辨率模型组成的系统来生成高清视频。论文地址https://imagen.research.google/video/paper.pdf在论文中谷歌详细描述了如何将该系统扩展为一个高清文本转视频模型包括某些分辨率下选择全卷积时空超分辨率模型以及选择扩散模型的 v 参数化等设计决策。谷歌还将以往基于扩散的图像生成研究成果成功迁移到了视频生成设置中。谷歌发现Imagen Video 能够将以往工作生成的 24fps 64 帧 128×128 视频提升至 128 帧 1280×768 高清视频。此外Imagen Video 还具有高度的可控性和世界知识能够生成多样化艺术风格的视频和文本动画还具备了 3D 对象理解能力。让我们再来欣赏一些 Imagen Video 生成的视频比如开车的熊猫遨游太空的木船更多生成视频请参阅https://imagen.research.google/video/方法与实验整体而言谷歌的视频生成框架是七个子视频扩散模型的级联它们相应执行文本条件视频生成、空间超分辨率和时间超分辨率。借助整个级联Imagen Video 能够以每秒 24 帧的速度生成 128 帧 1280×768 的高清视频约 1.26 亿像素。与此同时在渐进式蒸馏的帮助下Imagen Video 的每个子模型中仅使用八个扩散步骤就能生成高质量视频。这将视频生成时间加快了大约 18 倍。下图 6 展示了 Imagen Video 的整个级联 pipeline包括 1 个 frozen 文本编码器、1 个基础视频扩散模型以及 3 个空间超分辨率SSR和 3 个时间超分辨率TSR模型。这七个视频扩散模型共有 116 亿参数。在生成过程中SSR 模型提高了所有输入帧的空间分辨率同时 TSR 模型通过在输入帧之间填充中间帧来提高时间分辨率。所有模型同时生成一个完整的帧块这样 SSR 模型不会遭受明显的伪影。Imagen Video 构建在视频 U-Net 架构之上具体如下图 7 所示。在实验中Imagen Video 在公开可用的 LAION-400M 图像文本数据集、1400 万个视频文本对和 6000 万个图像文本对上进行训练。结果正如上文所述Imagen Video 不仅能够生成高清视频还具备一些纯从数据中学习的非结构化生成模型所没有的独特功能。下图 8 展示了 Imagen Video 能够生成具有从图像信息中学得的艺术风格的视频例如梵高绘画风格或水彩画风格的视频。下图 9 展示了 Imagen Video 对 3D 结构的理解能力它能够生成旋转对象的视频同时物体的大致结构也能保留。下图 10 展示了 Imagen Video 能够可靠地生成各种动画样式的文本其中一些使用传统工具很难来制作。更多实验细节请参阅原论文。Phenaki你讲故事我来画我们知道虽然从本质上讲视频就是一系列图像但生成一个连贯的长视频并没有那么容易因为在这项任务中可用的高质量数据非常少而且任务本身的计算需求又很大。更麻烦的是像之前那种用于图像生成的简短文本 prompt 通常不足以提供对视频的完整描述视频需要的是一系列 prompt 或故事。理想情况下一个视频生成模型必须能够生成任意长度的视频并且要能根据某个时刻 t 的 prompt 变化调节生成的视频帧。只有具备这样的能力模型生成的作品才能称之为「视频」而不是「移动的图像」并开启在艺术、设计和内容创作方面的现实创意应用之路。谷歌等机构的研究人员表示「据我们所知基于故事的条件视频生成之前从未被探索过这是第一篇朝着该目标迈进的早期论文。」论文链接https://pub-bede3007802c4858abc6f742f405d4ef.r2.dev/paper.pdf项目链接https://phenaki.github.io/#interactive由于没有基于故事的数据集可以拿来学习研究人员没有办法简单地依靠传统深度学习方法简单地从数据中学习完成这些任务。因此他们专门设计了一个模型来完成这项任务。这个新的文本转视频模型名叫 Phenaki它使用了「文本转视频」和「文本转图像」数据联合训练。该模型具有以下能力1、在开放域 prompt 的条件下生成时间上连贯的多样化视频即使该 prompt 是一个新的概念组合见下图 3。生成的视频可以长达几分钟即使该模型训练所用的视频只有 1.4 秒8 帧 / 秒2、根据一个故事即一系列 prompt生成视频如下图 1 和图 5 所示从以下动图中我们可以看到 Phenaki 生成视频的连贯性和多样性要实现这些功能研究人员无法依赖现有的视频编码器因为这些编码器要么只能解码固定大小的视频要么独立编码帧。为了解决这个问题他们引入了一种新的编码器 - 解码器架构——C-ViViT。C-ViViT 可以利用视频中的时间冗余来提高每帧模型的重构质量同时将视频 token 的数量压缩 40% 或更多在给定因果结构的情况下允许编码和解码可变长度视频。PHENAKI 模型架构受之前自回归文本转图像、文本转视频研究的启发Phenaki 的设计主要包含两大部分见下图 2一个将视频压缩为离散嵌入即 token的编码器 - 解码器模型和一个将文本嵌入转换为视频 token 的 transformer 模型。获取视频的压缩表示是从文本生成视频的主要挑战之一。之前的工作要么使用 per-frame 图像编码器如 VQ-GAN要么使用固定长度视频编码器如 V ideoVQVAE。前者允许生成任意长度的视频但在实际使用中视频必须要短因为编码器不能及时压缩视频并且 token 在连续帧中是高度冗余的。后者在 token 数量上更加高效但它不允许生成任意长度的视频。在 Phenaki 中研究者的目标是生成可变长度的视频同时尽可能压缩视频 token 的数量这样就可以在当前的计算资源限制下使用 Transformer 模型。为此他们引入了 C-ViViT这是 ViViT 的一种因果变体为视频生成进行了额外的架构更改它可以在时间和空间维度上压缩视频同时保持时间上的自回归。该功能允许生成任意长度的自回归视频。为了得到文本嵌入Phenaki 还用到了一个预训练的语言模型——T5X。具体细节请参见原论文。后台回复关键词【入群】加入卖萌屋NLP、CV、搜推广与求职讨论群