视频扩散模型介绍 Video Diffusion Models Introduction

视频扩散模型介绍 Video Diffusion Models Introduction

  • Diffusion 扩散模型中的一些概念
    • DDPM
    • DDIM
    • CLIP
    • Latent Diffusion
    • Stable Diifusion
    • LoRA
    • DreamBooth
    • ControlNet
  • 视频生成
    • 评估标准
      • 图片层面
      • 视频层面
    • 前人的工作
      • Make-A-Video
      • Align your Latents
    • 开源视频生成模型
      • ModelScopeT2V（阿里）
      • Show-1
      • VideoCrafter（tx）
      • LaVie
      • Stable Video Diffusion
    • 高效的生成方法
      • AnimateDiff
      • Text2Video-Zero 无需训练
      • 其他
    • Storyboard
      • VisorGPT
      • VideoDirectorGPT
      • Long-form Video Prior
      • 其他工作
    • 长视频生成
      • NUWA-XL
  • Video Editing
    • Tuning-based
      • Tune-A-Video
      • Dreamix
    • Training-Free
      • TokenFlow
      • FateZero
      • 其他工作
    • Controlled Editing
      • Gen-1
      • Pix2Video
      • ControlVideo
      • VideoControlNet
      • CCEdit
      • VideoComposer
      • 其他工作
      • Pose Control姿态控制
        • MagicAnimate
      • PointControl
    • 3D-Aware

Diffusion 扩散模型中的一些概念

DDPM

扩散过程和去噪过程
在这里插入图片描述

在这里插入图片描述

去噪器，预测出来噪声然后与原始图片相减，得到干净的图片

在这里插入图片描述
当然，去噪过程是逐步的，所以减去之后会重新加上“平均噪声”
在这里插入图片描述

DDIM

跳步
在这里插入图片描述
DDIM和DDPM作对比：
在这里插入图片描述

在这里插入图片描述

CLIP

在这里插入图片描述

Latent Diffusion

不是直接在像素空间进行操作，多了编码解码，在latent空间操作加噪和去噪过程
在这里插入图片描述

Stable Diifusion

在这里插入图片描述

LoRA

微调
在这里插入图片描述

DreamBooth

在这里插入图片描述

ControlNet

在这里插入图片描述

在这里插入图片描述

视频生成

一些已有的工作分类
在这里插入图片描述
3D可以分成（2+1），就是从图片生成到视频生成的一种思路
在这里插入图片描述

早期工作：
在这里插入图片描述
解码器+插帧+超分辨率模块
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

评估标准

在这里插入图片描述

图片层面

语义相似度
在这里插入图片描述

像素相似度
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

视频层面

视频生成的质量和多样性
在这里插入图片描述

一致性
在这里插入图片描述
在这里插入图片描述

组合评估
在这里插入图片描述

前人的工作

Make-A-Video

在这里插入图片描述
在这里插入图片描述

Align your Latents

在这里插入图片描述

开源视频生成模型

ModelScopeT2V（阿里）

在这里插入图片描述
在这里插入图片描述

可变temporal attention
在这里插入图片描述

下面是模型效果，ZeroScope是从ModelScope 用10K的小数据集fine-tune出来的
在这里插入图片描述

Show-1

在这里插入图片描述

VideoCrafter（tx）

在这里插入图片描述

LaVie

在这里插入图片描述

Stable Video Diffusion

数据处理
在这里插入图片描述
在这里插入图片描述
训练过程：
先初始化参数
在这里插入图片描述
训练过程
在这里插入图片描述

fine-tune阶段
在这里插入图片描述

高效的生成方法

AnimateDiff

把文生图片模型转化为文生视频模型而不需要单独train

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Text2Video-Zero 无需训练

动机：如何在不用fine-tune的情况下使用Stable Diffusion

做法：给定第一帧noise后，人为定义全局scene motion

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其他

在这里插入图片描述

Storyboard

前面生成的视频都是几秒钟长度的视频，如果时间要增长，有哪些工作做了

文本->电影脚本->视频

VisorGPT

在这里插入图片描述
在这里插入图片描述

VideoDirectorGPT

在这里插入图片描述

Long-form Video Prior

在这里插入图片描述

其他工作

在这里插入图片描述

长视频生成

NUWA-XL

在这里插入图片描述
在这里插入图片描述

Video Editing

在这里插入图片描述

Tuning-based

Tune-A-Video

在这里插入图片描述
在这里插入图片描述

Sparse-Casual的attention方式节约内存空间，只跟第一帧和前一帧做attention
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Dreamix

在这里插入图片描述

在这里插入图片描述

Training-Free

TokenFlow

在这里插入图片描述

FateZero

在这里插入图片描述

其他工作

在这里插入图片描述

Controlled Editing

Gen-1

在这里插入图片描述

Pix2Video

Control场景里也有不需要训练的方法
在这里插入图片描述

ControlVideo

另外一种不需要训练的方法
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

VideoControlNet

CCEdit

在这里插入图片描述

VideoComposer

在这里插入图片描述

其他工作

在这里插入图片描述

Pose Control姿态控制

MagicAnimate

在这里插入图片描述

PointControl

比如图中想把猫换成狗但是背景保留

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

只在关键帧标注
在这里插入图片描述
在这里插入图片描述

3D-Aware

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/725985.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

一人企业：一个人也能赚钱的商业模式读书笔记

一人企业：一个人也能赚钱的商业模式读书笔记

一人企业：一个人也能赚钱的商业模式 哈佛大学攻读MBA时，汤姆就给漫画投稿，虽然毕业之后在商界打拼，但从小喜欢画漫画的汤姆2010年还是毅然辞去一家大型食品公司营销副总裁这一光鲜的职位。他并非一时兴起，也没有变成反资本主义的嬉皮士。和其他人一样，他认真地规划并将他…
阅读更多...
蓝桥杯-Set

蓝桥杯-Set

目录 HashSet类常用方法 1 add(Object obj)方法 2 size() 方法 3 remove(Object obj)方法 4 contains()方法 5 clear() 方法 例题实战 set 一个不允许出现重复的元素，并且无序的集合，主要有HashSet实现类。 在判断重复元素的时候，Set集…
阅读更多...
本地知识库搭建成功后，企业效率真的翻倍了

本地知识库搭建成功后，企业效率真的翻倍了

在如今这个快节奏的信息时代，对企业来说，拥有一套高效的知识管理系统早已不再是选项，而是必要。而本地知识库，它这个集信息存储、管理和查询于一体的平台，不仅改变了公司信息资源共享的方式，还帮助进一步提…
阅读更多...
Android 10.0 系统Settings主菜单wifi二级菜单去掉返回acitonbar功能

Android 10.0 系统Settings主菜单wifi二级菜单去掉返回acitonbar功能

1.前言 在10.0的系统产品定制化开发中，在原生系统Settings的主菜单蓝牙 wifi进入二级菜单中的页面中，最上面都有一个ActionBar的返回键，在 某种情况下进行产品定制的时候，不需要这个返回键，所以接下来分析下这个返回键布局，来实现功能 2.系统Settings主菜单蓝牙wifi二级…
阅读更多...
Java入门 子类初始化

Java入门 子类初始化

文章目录 九、子类初始化 九、子类初始化 子类不能继承构造方法，想要调用父类的构造方法就得使用super。 super()表示调用无参的构造方法，super()里面带几个参数，就是调用哪一个构造方法。（ 这里的调用相当于是执行，…
阅读更多...
OpenCV学习笔记（二）——OpenCV简介

OpenCV学习笔记（二）——OpenCV简介

目录 图像基础和简介 OpenCV简介 OpenCV的发展历史 OpenCV的应用 OpenCV的核心模块 图像基础和简介 人们通过肉眼所看见的世界是通过图像来呈现的，那么什么是图像呢？在计算机里面，最基本的组成单元就是像素，图像是很多像素的…
阅读更多...
基于单片机的医院输液系统设计

基于单片机的医院输液系统设计

目 录 摘 要 Ⅰ Abstract Ⅱ 引 言 1 1系统方案设计与论证 3 1.1系统硬件结构总体设计方案 3 1.2点滴速度测量电路方案的选择与论证 3 1.3液面检测电路方案的选择与论证 4 1.4通过电机控制滴速电路的方案与论证 4 1.5显示器接口电路方案选择与论证 5 1.6键盘接口电路方案选择与…
阅读更多...
（黑马出品_03）SpringCloud+RabbitMQ+Docker+Redis+搜索+分布式

（黑马出品_03）SpringCloud+RabbitMQ+Docker+Redis+搜索+分布式

（黑马出品_03）SpringCloudRabbitMQDockerRedis搜索分布式 微服务技术Docker 今日目标1.初识Docker1.1.什么是Docker1.1.1.应用部署的环境问题1.1.2.Docker解决依赖兼容问题1.1.3.Docker解决操作系统环境差异1.1.4.小结 1.2…
阅读更多...
【REST2SQL】11 基于jwt-go生成token与验证

【REST2SQL】11 基于jwt-go生成token与验证

【REST2SQL】01RDB关系型数据库REST初设计 【REST2SQL】02 GO连接Oracle数据库 【REST2SQL】03 GO读取JSON文件 【REST2SQL】04 REST2SQL第一版Oracle版实现 【REST2SQL】05 GO 操作 达梦 数据库 【REST2SQL】06 GO 跨包接口重构代码 【REST2SQL】07 GO 操作 Mysql 数据库 【RE…
阅读更多...
紧握时代契机链接亿万家庭 创维汽车2024全球经销商大会圆满召开

紧握时代契机链接亿万家庭 创维汽车2024全球经销商大会圆满召开

3月6日，以“极致 见新境”创维汽车2024全球经销商大会在徐州隆重举行。徐州经开区管委会副主任季洪志，缅甸驻华大使馆商务参赞 Win Myat Aung，法国中小企业联盟主席 Xavier Michon-Lehnebach，创维集团、创维汽车创始人黄宏生&…
阅读更多...
php常见的45个漏洞及解决方案

php常见的45个漏洞及解决方案

[TOC]（太多了，目录只列出最重要的几个，剩下的同学们自己翻） PHP作为一种广泛应用的服务器端脚本语言，在历史上曾曝出过多种安全漏洞。以下是一些PHP漏洞的类别及其简要解释，以及如何解决这些问题&#xff1…
阅读更多...
Java精品项目--第5期基于SpringBoot的高速收费系统的设计分析与实现

Java精品项目--第5期基于SpringBoot的高速收费系统的设计分析与实现

项目使用技术栈 SpringBootMavenShiroMySQLMybatis-PlusJavaJDK1.8HTML 系统介绍 项目截图
阅读更多...
dolphinscheduler试用（一）（边用边修bug。。。。create tenant error）

dolphinscheduler试用（一）（边用边修bug。。。。create tenant error）

（作者：陈玓玏） 前提：部署好了dolphinscheduler，部署篇见https://blog.csdn.net/weixin_39750084/article/details/136306890?spm1001.2014.3001.5501 官方文档见：https://dolphinscheduler.apache.org/…
阅读更多...
Java入门 类的组合和复用 / 实例成员和类成员

Java入门 类的组合和复用 / 实例成员和类成员

文章目录 一、类的组合和复用二、实例成员与类成员所以总结一下： 一、类的组合和复用 我当时第一次看见，然后又看书上的定义，感觉真的是”高大上“，就是不好理解，后来一查才发现超级简单。 类的组合和复用&#xff1…
阅读更多...
MOGDB/openGauss数据库gs dump备份脚本及备份清理

MOGDB/openGauss数据库gs dump备份脚本及备份清理

MOGDB/openGauss 数据库 gs_dump 备份脚本及备份清理 需要对 MOGDB/openGauss 进行每天逻辑备份。如下脚本分享给大家。 一、备份脚本 1.脚本 c.sh (可以改名字)# database dump shell # you should change the GAUSSHOME GAUSSPORT GAUSSDATA DUMP_USER DUMP_PASSWORD #!/bi…
阅读更多...
JavaEE进阶（13）案例综合练习——博客系统

JavaEE进阶（13）案例综合练习——博客系统

接上次博客：JavaEE进阶（12）Spring事务和事务传播机制：事务回顾、Spring中事务的实现、Transactional详解（用法、rollbackFor、事务隔离级别、事务传播机制）-CSDN博客 目录 项目介绍 准备工作 数据准备 …
阅读更多...
如何给Vue项目配置好一个nginx.conf文件？

如何给Vue项目配置好一个nginx.conf文件？

如何给Vue项目配置好一个nginx.conf文件？ 一般前端项目中，会有一个docker/nginx/nginx.conf文件，用于配置DockerFile配置等。 那么，如何给项目写好一个nginx.conf文件，以DockerFile为例： # 使用 Node.js …
阅读更多...
《辐射4》是一款什么样的游戏 怎样在mac电脑上玩到《辐射4》辐射4攻略 辐射4开局加点 怎么在Mac电脑玩Steam游戏

《辐射4》是一款什么样的游戏 怎样在mac电脑上玩到《辐射4》辐射4攻略 辐射4开局加点 怎么在Mac电脑玩Steam游戏

辐射4（Fallout 4）是由Bethesda开发的一款动作角色扮演类游戏，为《辐射》系列游戏作品的第四代，于2015年11月10日发行。游戏叙述了主角一家在核爆当天（2077年10月23日），被Vault-Tec（避…
阅读更多...
Spring Cloud Gateway核心之Predicate

Spring Cloud Gateway核心之Predicate

路由 Predicate 工厂 Spring Cloud Gateway 将路由作为 Spring WebFluxHandlerMapping基础设施的一部分进行匹配。Spring Cloud Gateway 包含许多内置的路由Predicate 工厂。所有这些谓词都匹配 HTTP 请求的不同属性。多个 Route Predicate Factory 可以组合，并通过…
阅读更多...
Android Studio中debug功能详解

Android Studio中debug功能详解

本文为大家分享了Android Studio debug功能的具体使用方法，供大家参考，具体内容如下 运行debug模式 \1. 进入debug – 点击图中红色圆圈圈起的左边绿色按钮，运行app的debug模式，快捷键ShiftF9 – 点击图中红色圆圈圈起的右边按…
阅读更多...
最新文章

Copyright @ 2022~2023