视频生成模型Sora的全面解析：从AI绘画、ViT到ViViT、DiT、VDT、NaViT、VideoPoet

前言

真没想到，距离视频生成上一轮的集中爆发(详见《Sora之前的视频生成发展史：从Gen2、Emu Video到PixelDance、SVD、Pika 1.0》)才过去三个月，没想OpenAI一出手，该领域又直接变天了

可当我接连扒出sora相关的10多篇论文之后，觉得sora和此前发布的视频生成模型有了质的飞跃(不只是一个60s)，而是再次印证了大力出奇迹，大模型似乎可以在力大砖飞的情况下开始理解物理世界了，使得我司大模型项目组也愿意重新考虑开发视频生成的相关应用

本文主要分为三个部分(初步理解只看第一部分即可，深入理解看第二部分，更多细节则看第三部分)

总之，看本文之前，如果你人云亦云的来一句：sora就是DiT架构，我表示理解。但看完全文后你会发现

第一部分 OpenAI Sora的关键技术点

1.1 Sora的三大Transformer组件

1.1.1 从前置工作DALLE 2到sora的三大组件

为方便大家更好的理解sora背后的原理，我们先来快速回顾下AI绘画的原理(理解了AI绘画，也就理解了sora一半)

以DALLE 2为例，如下图所示(以下内容来自此文：从CLIP、BLIP到DALLE、DALLE 2、DALLE 3、Stable Diffusion)

所以对于DALLE 2来说，正因为经过了大量上面这种训练，所以便可以根据人类给定的prompt画出人类预期的画作，说白了，可以根据text预测画作长什么样

最终，sora由三大Transformer组件组成(如果你还不了解transformer或注意力机制，请读此文)：Visual Encoder(即Video transformer，类似下文将介绍的ViViT)、Diffusion Transformer、Transformer Decoder，具体而言

你会发现，上述整个过程，其实和SD的原理是有较大的相似性(SD原理详见此文《从CLIP、BLIP到DALLE、DALLE 2、DALLE 3、Stable Diffusion》的3.2节)，当然，不同之处也有很多，比如视频需要一次性还原多帧、图像只需要还原一帧

网上也有不少人画出了sora的架构图，比如来自魔搭社区的

1.1.2 如何理解所谓的时空编码(含其好处)

首先，一个视频无非就是沿着时间轴分布的图像序列而已

但其中有个问题是，因为像素的关系，一张图像有着比较大的维度(比如250 x 250)，即一张图片上可能有着5万多个元素，如果根据上一张图片的5万多元素去逐一交互下一张图片的5万多个元素，未免工程过于浩大(而且，即便是同一张图片上的5万多个像素点之间两两做self-attention，你都会发现计算复杂度超级高)

可能有同学问，这么做有什么好处呢？好处太多了

总之，基于 patches 的表示，使 Sora 能够对不同分辨率、持续时间和长宽比的视频和图像进行训练。在推理时，也可以可以通过在适当大小的网格中排列随机初始化的 patches 来控制生成视频的大小

DiT 作者之一 Saining Xie 在推文中提到：Sora“可能还使用了谷歌的 Patch n’ Pack (NaViT) 论文成果，使其能够适应可变的分辨率/持续时间/长宽比”

当然，ViT本身也能够处理任意分辨率(不同分辨率相当于不同长度的图片块序列)，但NaViT提供了一种高效训练的方法，关于NaViT的更多细节详见下文的介绍

而过去的图像和视频生成方法通常需要调整大小、进行裁剪或者是将视频剪切到标准尺寸，例如 4 秒的视频分辨率为 256x256。相反，该研究发现在原始大小的数据上进行训练，最终提供以下好处：

1.1.3 Diffusion Transformer(DiT)：扩散过程中以Transformer为骨干网络

sora不是第一个把扩散模型和transformer结合起来用的模型，但是第一个取得巨大成功的，为何说它是结合体呢

总之，总的来说，Sora是一个在不同时长、分辨率和宽高比的视频及图像上训练而成的扩散模型，同时采用了Transformer架构，如sora官博所说，Sora is a diffusion transformer，简称DiT

关于DiT的更多细节详见下文第二部分介绍的DiT

1.2 基于DALLE 3的重字幕技术：提升文本-视频数据质量

1.2.1 DALLE 3的重字幕技术：为文本-视频数据集打上字幕且用GPT把字幕详细化

首先，训练文本到视频生成系统需要大量带有相应文本字幕的视频，研究团队将 DALL・E 3 中的重字幕(re-captioning)技术应用于视频

关于DALLE 3的重字幕技术更具体的细节请见此文2.3节《AI绘画原理解析：从CLIP、BLIP到DALLE、DALLE 2、DALLE 3、Stable Diffusion》

2.3 DALLE 3：Improving Image Generation with Better Captions

2.3.1 为提高文本图像配对数据集的质量：基于谷歌的CoCa​微调出图像字幕生成器

2.3.1.1 什么是谷歌的CoCa

2.1.1.2 分别通过短caption、长caption微调预训练好的image captioner

2.1.1.3 为提高合成caption对文生图模型的性能：采用描述详细的长caption，训练的混合比例高达95%..

1.2.2 类似VDT或Google的W.A.L.T工作：引入auto regressive进行视频预测或扩展

其次，如之前所述，为了保证视频的一致性，模型层不是通过多个stage方式来进行预测，而是整体预测了整个视频的latent(即去噪时非先去噪几帧，再去掉几帧，而是一次性去掉全部帧的噪声)

但在视频内容的扩展上，比如从一段已有的视频向后拓展出新视频的训练过程中可能引入了auto regressive的task，以帮助模型更好的进行视频特征和帧间关系的学习

更多可以参考下文Google的W.A.L.T工作，或下文“2.3.2 VDT的视频预测方案：把视频前几帧作为条件帧自回归预测下一帧”

1.3 对真实物理世界的模拟能力

1.3.1 sora学习了大量关于3D几何的知识

OpenAI 发现，视频模型在经过大规模训练后，会表现出许多有趣的新能力。这些能力使 Sora 能够模拟物理世界中的人、动物和环境的某些方面。这些特性的出现没有任何明确的三维、物体等归纳偏差 — 它们纯粹是规模现象

1.3.2 sora真的会模拟真实物理世界了么

对于“sora真的会模拟真实物理世界”这个问题，网上的解读非常多，很多人说sora是通向通用AGI的必经之路、不只是一个视频生成，更是模拟真实物理世界的模拟器，这个事 我个人觉得从技术的客观角度去探讨更合适，那样会让咱们的思维、认知更冷静，而非人云亦云、最终不知所云

首先，作为“物理世界的模拟器”，需要能够在虚拟环境中重现物理现实，为用户提供一个逼真且不违反「物理规律」的数字世界

比如苹果不能突然在空中漂浮，这不符合牛顿的万有引力定律；比如在光线照射下，物体产生的阴影和高光的分布要符合光影规律等；比如物体之间产生碰撞后会破碎或者弹开

其次，李志飞等人在《为什么说 Sora 是世界的模拟器？》一文中提到，技术上至少有两种方式可以实现这样的模拟器

虚幻引擎（Unreal Engine，UE）就是这种物理世界的模拟器

不同于 UE 这一类渲染引擎，Sora 并没有显式地对物理规律背后的数学公式去“硬编码”，而是通过对互联网上的海量视频数据进行自监督学习，从而能够在给定一段文字描述的条件下生成不违反物理世界规律的长视频

与 UE 这一类“硬编码”的物理渲染引擎不同，Sora 视频创作的想象力来自于它端到端的数据驱动，以及跟LLM这类认知模型的无缝结合(比如ChatGPT已经确定了基本的物理常识)

最后值得一提的是，Sora 的训练可能用了 UE 合成的数据，但 Sora 模型本身应该没有调用 UE 的能力

第二部分 Sora相近技术的发展史：ViViT、DiT、VDT、NaViT、MAGVIT v2、W.A.L.T、VideoPoet

注意，和sora相关的技术其实有非常多，但有些技术在本博客之前的文章中写过了(详见本文开头)，则本部分不再重复，比如DDPM、ViT、DALLE三代、Stable Diffusion(包括潜在空间LDM)等等

2.1 视频Transformer之ViViT：视频元素token化且时空编码(没加扩散过程、没带文本条件融合)

在具体介绍ViViT之前，先说三个在其之前的工作

而Google于2021年5月提出的ViViT(其对应论文为：ViViT: A Video Vision Transformer​​​​​​​)便要尝试在视频中使用ViT模型，且他们充分借鉴了之前3D CNN因式分解等工作，比如考虑到视频作为输入会产生大量的时空token，处理时必须考虑这些长范围token序列的上下文关系，同时要兼顾模型效率问题

故作者团队在空间和时间维度上分别对Transformer编码器各组件进行分解，在ViT模型的基础上提出了三种用于视频分类的纯Transformer模型，如下图所示

区别于常规的二维图像数据，视频数据相当于需在三维空间内进行采样(拓展了一个时间维度)，有两种方法来将视频映射到token序列(说白了，就是从视频中提取token，而后添加位置编码并对token进行reshape得到最终Transformer的输入)

2.1.1 spatio-temporal attention

上文说过，Google在ViT模型的基础上提出了三种用于视频分类的纯Transformer模型，接下来，介绍下这三种模型

当然，由于论文中把一个没有啥技巧且计算复杂度高的模型作为模型1：简单地将从视频中提取的所有时空token，然后每个transformer层都对所有配对进行建模，类似Neimark_Video_Transformer_Network_ICCVW_2021_paper的工作(其证明了VTN可以高效地处理非常长的视频)

所以下述三个模型在论文中被分别称之为模型2、3、4

2.1.2 factorised encoder及其代码实现

第二个模型如下图所示，该模型由两个串联的transformer编码器组成：

对应的代码如下(为方便大家一目了然，我不仅给每一行代码都加上了注释，且把代码分解成了8块，每一块代码的重点都做了细致说明)

# 定义ViViT模型类
class ViViT(nn.Module):
    def __init__(self, image_size, patch_size, num_classes, num_frames, dim=192, depth=4, heads=3, pool='cls', in_channels=3, dim_head=64, dropout=0.,
                 emb_dropout=0., scale_dim=4):
        super().__init__()  # 调用父类的构造函数
        
        # 检查pool参数是否有效
        assert pool in {'cls', 'mean'}, 'pool type must be either cls (cls token) or mean (mean pooling)'
        # 确保图像尺寸能被patch尺寸整除
        assert image_size % patch_size == 0, 'Image dimensions must be divisible by the patch size.'
        # 计算patch数量
        num_patches = (image_size // patch_size) ** 2
        # 计算每个patch的维度
        patch_dim = in_channels * patch_size ** 2
        # 将图像切分成patch并进行线性变换的模块
        self.to_patch_embedding = nn.Sequential(
            Rearrange('b t c (h p1) (w p2) -> b t (h w) (p1 p2 c)', p1=patch_size, p2=patch_size),
            nn.Linear(patch_dim, dim),
        )

Rearrange('b t c (h p1) (w p2) -> b t (h w) (p1 p2 c)', p1=patch_size, p2=patch_size)

        # 位置编码
        self.pos_embedding = nn.Parameter(torch.randn(1, num_frames, num_patches + 1, dim))
        # 空间维度的cls token
        self.space_token = nn.Parameter(torch.randn(1, 1, dim))
        # 空间变换器
        self.space_transformer = Transformer(dim, depth, heads, dim_head, dim * scale_dim, dropout)

        # 时间维度的cls token
        self.temporal_token = nn.Parameter(torch.randn(1, 1, dim))
        # 时间变换器
        self.temporal_transformer = Transformer(dim, depth, heads, dim_head, dim * scale_dim, dropout)

        # dropout层
        self.dropout = nn.Dropout(emb_dropout)
        # 池化方式
        self.pool = pool

        # 最后的全连接层，用于分类
        self.mlp_head = nn.Sequential(
            nn.LayerNorm(dim),
            nn.Linear(dim, num_classes)
        )

    def forward(self, x):
        # 将输入数据x转换为patch embeddings
        x = self.to_patch_embedding(x)
        b, t, n, _ = x.shape  # 获取batch size, 时间维度, patch数量

        # 在每个空间位置加上cls token
        cls_space_tokens = repeat(self.space_token, '() n d -> b t n d', b=b, t=t)
        x = torch.cat((cls_space_tokens, x), dim=2)  # 在维度2上进行拼接

        x += self.pos_embedding[:, :, :(n + 1)]  # 加上位置编码
        x = self.dropout(x)  # 应用dropout

        # 将(b, t, n, d)重排为((b t), n, d)，为了应用空间变换器
        x = rearrange(x, 'b t n d -> (b t) n d')
        x = self.space_transformer(x)  # 应用空间变换器
        x = rearrange(x[:, 0], '(b t) ... -> b t ...', b=b)  # 把输出重排回(b, t, ...)

     # 在每个时间位置加上cls token
        cls_temporal_tokens = repeat(self.temporal_token, '() n d -> b n d', b=b)
        x = torch.cat((cls_temporal_tokens, x), dim=1)  # 在维度1上进行拼接

        x = self.temporal_transformer(x)  # 应用时间变换器

        # 根据pool参数选择池化方式
        x = x.mean(dim=1) if self.pool == 'mean' else x[:, 0]

        # 通过全连接层输出最终的分类结果
        return self.mlp_head(x)

2.1.3 factorised self-attention

第二个模型如下图所示，会先计算空间自注意力(token中有相同的时间索引，相当于同一帧画面上的token元素)，再计算时间的自注意力(token中有相同的空间索引，相当于不同帧下同一空间位置的token，比如一直在视频的左上角那一块的token块）

2.1.4 factorised dot-product attention

由于实验表明空间-时间自注意力或时间-空间自注意力的顺序并不重要，所以第三个模型的结构如下图所示，一半的头仅在空间轴上计算点积注意力，另一半头则仅在时间轴上计算，且其参数数量增加了，因为有一个额外的自注意力层

不过，该模型通过利用dot-product点积注意力操作来取代因式分解factorisation操作，通过注意力计算的方式来代替简单的张量reshape。思想是对于空间注意力和时间注意力分别构建对应的键、值，如下图所示(图源自萝卜社长)

2.2 DiT：将扩散过程中的U-Net 换成 Transformer(2D图像生成，带文本条件融合)

2.2.1 DiT = VAE encoder + ViT + DDPM + VAE decoder

在ViT之前，图像领域基本是CNN的天下，包括扩散过程中的噪声估计器所用的U-net也是卷积架构，但随着ViT的横空出世，人们自然而然开始考虑这个噪声估计器可否用Transform架构来代替

2022年年底，William Peebles(当时在UC Berkeley，Peebles在𝕏上用昵称Bill，在Linkedin上及论文署名时用大名William)、Saining Xie(当时在纽约大学)的两人通过论文《Scalable Diffusion Models with Transformers》提出了一种叫 DiT 的神经网络结构

2.2.2 Diffusion Transformer(DiT)的3个不同的条件策略

如下图所示，便是扩散transformer(DiT)的架构

接下来，仔细介绍下上图右侧4个不同的条件策略(说白了，就是怎么加入conditioning)

2.2.3 DiT类似架构之U-ViT：虽也带文本条件融合，但和DiT都只局限在2D图像生成

对于扩散过程中噪声估计器的选择，国外的研究者很自然的想到了用Transformer代替U-net，那国内就没人想到么？

其实早在2022年9月，清华朱军团队就发布了一篇名为《All are Worth Words: A ViT Backbone for Diffusion Models》的论文(比 DiT早提出两个多月，后被 CVPR 2023 收录)，这篇论文提出了用「基于Transformer的架构U-ViT」替代基于卷积架构的U-Net

对比来看，两项工作在架构路线上完全一致

不过 DiT 仅在 ImageNet 上做了实验，U-ViT 在小数据集(CIFAR10、CelebA)、ImageNet、图文数据集 MSCOCO 上均做了实验。此外，相比传统的 Transformer，U-ViT 提出了一项「长连接」的技术，大大提升了训练收敛速度

2.3 VDT：基于扩散的视频生成中首次使用Transformer(与sora架构最接近)

2.3.1 VDT：综合「ViViT的时空编码」与「DiT的扩散Transformer」

上面介绍的DiT、U-ViT更多还是在2D图像生成领域，那有没有“基于扩散的视频生成中首次使用Transformer(which pioneers the use of transformers in diffusion-based video generat)”的工作呢？

2023年5月，中国人民大学(高瓴人工智能学院)与加州大学伯克利分校、香港大学等共同提出了基于 Transformer 的 Video 统一生成框架：Video Diffusion Transformer(对应论文为：VDT: General-purpose Video Diffusion Transformers via Mask Modeling，简称VDT ，后于24年1月被ICLR 2024接收 )，统一各种视频生成任务，包括无条件生成、预测、插值、动画和时空视频生成

这篇论文开头提到Transformer在视频生成领域中具备的几大优势

而提出的视频扩散Transformer(VDT)具备以上所有优势，且它有时间和空间注意力模块的Transformer块，以及用于有效token化的VAE标记器以及用于生成视频帧的解码器组成

VDT 框架包括以下几部分：

此外，在扩散过程中，将时间信息纳入Transformer块是至关重要的

具体的执行方式是在Transformer块中，VDT在层归一化时整合了时间(we integrate the time component after the layer normalization in the transformer block)，这与基于U-Net的扩散模型中使用的
自适应组归一化类似，可以表示为：

其中 是隐藏状态，和是从时间嵌入中获得的scale 和shift 参数

对比 Sora 最新发布的技术报告，可以看到 VDT 和 Sora 在实现细节上还是存在一些差别

综上，你可以把sora理解为带文本条件融合且时空注意力并行计算的Video Diffusion Transformer (所谓的这个带文本条件融合，你也可以简单粗暴的理解为条件去噪)

因此，行文至此，这个VDT是最接近sora的架构了，但国内没公司将其产品化，让人不得不再次感叹，国内技术并不差，但OpenAI对scale太坚定、把大模型各个创新技术整合到一个产品中并规模化应用的能力太强、算力太强，包括其追踪最新技术、最新paper的能力，让其率先推出了sora

2.3.2 VDT的视频预测方案：把视频前几帧作为条件帧自回归预测下一帧

视频生成领域有一个与之密切相关的任务 —— 视频预测，即预测下一个视频帧，而视频预测任务也可以视为条件生成，这里给定的条件帧是视频的前几帧

VDT 主要考虑了以下三种条件生成方式：

2.3.3 将 VDT 扩展到图片生成视频，而无需引入额外的模块或参数

在 VDT 的框架下，为了实现视频预测任务，不需要对网络结构进行任何修改，仅需改变模型的输入即可。这一发现引出了一个直观的问题：能否进一步利用这种可扩展性，将 VDT 扩展到更多样化的视频生成任务上 —— 例如图片生成视频 —— 而无需引入任何额外的模块或参数

如下图所示：

2.4 NaViT：多个patches打包成一个单一序列以实现可变分辨率

2.4.1 Google提出NaViT(Native Resolution ViT)

2023年7月，Google DeepMind通过此篇论文《Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution》提出了NaViT(Native Resolution ViT)

具体而言

Google从而提出了一种替代方法NaViT，将来自不同图像的多个patches打包成一个单一序列——称为Patch n’ Pack——从而实现可变分辨率并保持长宽比(Multiple patches from different images are packed in a single sequence— termed Patch n’ Pack—which enables variable resolution while preserving the aspect ratio)

2.4.2 如何实现的可变分辨率并保持长宽比

不同的分辨率输入在训练时候带来的是大量的计算负载不均衡，一个最简单的做法就是直接padding到固定大小，然此举势必会引入大量不必要的计算量， 因此用下述技术降低计算量，支持动态输入：

2.5 MAGVIT v2：用好tokenizer可以超越diffusion

2.5.1 能得到离散的视觉token的好处

对于基于 transformer 的工作，不管是 latent diffusion 还是 language model，它们之间的区别很小，都是 token-based，最大的区别在于：基于 diffusion 的生成是连续的 token，language model 处理的是离散的 token

通过上文，我们已经知道 Sora 会将视频数据 token 化，所以再来深入聊下tokenizer

Google和CMU于2023年10月份联合发布的MAGVIT v2(这是其论文Language Model Beats Diffusion -- Tokenizer is Key to Visual Generation)

LLMs与其他模型(如扩散模型)的一个基本区别是LLMs利用离散的潜在格式，而能得到离散的视觉token的价值不容忽视

2.5.2 因果3D卷积层(temporally causal 3D convolution)替换掉3D CNN的价值

值得一提的是，如下图所示

2.6 W.A.L.T：将Transformer用于扩散模型

2.6.1 两个窗口局部注意力：空间层、时空层

23年12月中旬，来自斯坦福大学、谷歌、佐治亚理工学院的研究者提出了 Window Attention Latent Transformer， 一种基于窗口注意力的潜在视频扩散模型(LVDMs)方法， 简称 W.A.L.T，其对应的论文为《Photorealistic Video Generation with Diffusion Models》，该方法成功地将 Transformer 架构整合到了潜在视频扩散模型中，斯坦福大学的李飞飞教授也是该论文的作者之一

该方法包括两个阶段

如下图所示，我们将图像和视频编码到一个共享的潜在空间中，Transformer骨干网络通过具有两层窗口局部注意力的块处理这些潜在因素：

具体来说

2.6.2 自回归生成：过去的帧也可以作为继续生成的condition

为了通过自回归预测生成长视频，我们也在帧预测任务上联合训练我们的模型，这是通过在训练期间以概率条件化模型在过去的帧上实现的

具体来说，模型通过进行条件化，其中 是一个二进制掩码。 二进制掩码指示了用于条件化的过去帧的数量。

最终，根据 1个潜在帧(图像到视频生成)或 2个潜在帧(视频预测)进行条件化

2.7 Google VideoPoet：基于MAGVIT V2和Transformer而来

2023年年底，Google推出了VideoPoet(这是其论文：VideoPoet: A Large Language Model for Zero-Shot Video Generation)，包含两个阶段：预训练和微调(pretraining and task-specific adaptation)

与通常使用外部交叉注意力网络或潜在混合进行风格化基于扩散的方法相比(In contrast to the diffusion-based approaches that usually use external cross-attention networks or latent blending for styliza-tion)，Google的这个方法更加类似于利用LLM进行机器翻译，因为只需将结构和文本作为语言模型的前缀

2.7.1 通过自然语言随心所欲的编辑视频，且其zero-shot能力强悍

如下图所示，其可以将输入图像动画化以生成一段视频，并且可以编辑视频或扩展视频

在风格化方面，该模型接收表征深度和光流的视频，以文本指导的风格绘制内容

2.7.2 视频生成器：借鉴LLM离散化token的处理思路

LLM在过去一年已经取得了巨大成功，那可否用于视频生成领域呢

如下图所示，VideoPoet将所有模态编码映射到离散的标记空间中，以便能够直接利用LLM架构进行视频生成，特定标记使用<>表示，其中

2.7.3 Tokenization：图像视频标记MAGVIT-v2与音频标记SoundStream

图像和视频分词器(Image and video tokenizer)是生成高质量视频内容的关键

具体而言，它将图像和视频编码为一串整数，并通过解码器将其映射回像素空间，作为标记和像素空间之间的桥梁

第三部分 根据sora的32个reference以窥其背后更多技术细节

对于这32篇reference，我根据大家可能的熟悉程度归个类

3.1 早期对视频的研究——使用LSTM的视频表示的无监督学习

sora的第一个reference为这篇论文《Unsupervised learning of video representations using lstms》，该论文考虑了目标序列的不同选择

这两种自然而合理地选择也可以结合起来。在这种情况下，有两个解码器LSTM——一个将表示解码为输入序列，另一个则利用相同表示进行解码以预测未来

在模型输入方面，理论上可以采用任何表示单个视频帧的方式。然而，为了本文目的的考虑，我们将限制注意力在两种输入上

3.2 早期对世界的模拟和对环境的学习

3.2.1 把RNN用于对环境的模拟：预测时确保时空上的一致性

在sora的第二个reference中，引入了循环神经网络来提升以前的高维像素观测环境模拟器。这些网络能够对未来数百个时间步进行时间和空间上的一致预测，从而使智能体能够有效地计划和行动

为了解决计算效率低下的问题，我们采用了一个不需要在每个时间步生成高维图像的模型。通过这个方法，可以改善探索并适应多种不同环境，包括10个雅达利游戏、3D赛车环境和复杂的3D迷宫

3.2.2 世界模型World Models

在sora的第三个reference中，研究了构建流行的强化学习环境生成神经网络模型的方法

世界模型可以通过无监督方式快速训练，以学习环境的时空压缩表示(to learn acompressed spatial and temporal representation of the environment)

通过将从世界模型中提取的特征作为Agent的输入，我们能够训练出一种非常紧凑和简洁的策略来解决所需任务。甚至可以完全在由世界模型生成的幻梦中(hallucinated dream generated by its world model)对Agent进行训练，并将该策略迁移到实际环境中

3.2.3 Generating Videos with Scene Dynamics

在sora的第四个reference中，利用大量未标记的视频，以学习场景动态模型，应用于视频识别任务(如动作分类)和视频生成任务(如未来预测)

3.2.4 Generating Long Videos of Dynamic Scenes

在sora的第7个reference中，提出了一个视频生成模型，可以精确地再现物体运动、摄像机视角的变化以及随时间推移而出现的新内容

为了解决这些限制，我们优先考虑时间轴，并通过重新设计时间潜在表示以及通过在更长视频上进行训练来学习长期一致性

为此，我们采用两阶段训练策略，在低分辨率下使用更长视频进行训练，在高分辨率下使用更短视频进行训练。为了评估模型能力，我们引入了两个新的基准数据集，明确关注长期时间动态

3.3 27/28/29-text-to-image，前面两篇均有Ilya Sutskever的参与

这三篇论文展示了在图像生成和视觉表示学习领域的最新进展，特别是在利用大规模数据集和模型规模来提高生成图像质量和多样性方面

// 待更

参考文献与推荐阅读

本文的创作、修订、完善记录

熟悉我文章的人都知道，一篇文章最开始发布的时候一般只能称之为0.1版，随后一两周内会做大量补充、修订、完善从而成为第1版，而后续则可能继续陆陆续续的修订成为第2版、第3版..