视频生成模型简介
生成式 AI 凭借 ChatGPT-4、Stable Diffusion 3、Devin AI 以及现在的 SORA 席卷全球。
SORA 是由 OpenAI 推出的图像或文本生成视频工具。生成模型是这些精美视频序列和真实新颖内容的强大引擎。这些模型在视频数据上进行训练，能够根据训练数据集的学习结果生成视频。它利用算法和神经网络来生成独特且真实的视频。
让我们来看看生成式视频模型的一些常见应用。
创意故事讲述： 借助生成式视频模型，基于叙事性的视频制作变得简单，能够在游戏、VR 和 AR 中提供个性化和交互式的故事体验。
内容创作： 创作者现在可以创建视觉上吸引人且全新的独特角色和故事。
视频编辑与增强： 视频生成模型可以自动化视频编辑任务，例如生成缺失帧或增强视频质量，从而减少后期制作的工作量。
VR 和 AR： VR 和 AR 将沉浸式体验提升到了一个全新的高度。生成式视频模型可以创建极具沉浸感的虚拟环境，仿佛在前往另一个维度旅行。
数据增强与仿真： 通过创建合成视频数据来扩充模型的训练数据集，它们可以显著提高视频分析系统的鲁棒性。
生成式视频模型在视频合成、故事讲述、视频编辑以及许多其他视频生成任务中拥有巨大潜力，有望成为 2024 年生成式 AI 的下一个重大突破。
什么是 SORA？
ChatGPT 和 Dall-E 的创造者 OpenAI 在今年 2 月推出了文本生成视频 AI 模型 SORA。SORA 在生成式 AI 创建逼真视频的能力方面迈出了一大步。尽管还没有太多的公开宣传或广告，但 OpenAI 已经展示了一些示例。您只需输入一段文本提示词，SORA 就能生成一段长达一分钟的视频。
提示词： 镜头跟随一辆带有黑色车顶行李架的白色复古 SUV，它在陡峭山坡上被松树环绕的陡峭土路上加速行驶，轮胎激起尘土，阳光照在加速行驶的 SUV 上，为整个场景投射出温暖的光辉。土路缓缓延伸到远方，视线内没有其他车辆。路两旁的树木是红杉，其间散布着绿植。从后方可以看到车辆轻松地沿着曲线行驶，使其看起来像是在崎岖的地形中进行一次粗犷的驾驶。土路本身被陡峭的山丘和山脉环绕，上方是带有稀薄云彩的晴朗蓝天。
SORA 使用 NLP（自然语言处理）和深度学习模型来生成高质量的一分钟视频。虽然 SORA 不是第一个生成式视频模型，但它是首个能够展示高质量、照片级真实感视频的模型。
SORA 的历史
如前所述，SORA 并非首个生成式视频模型。此前我们已有 Meta 的 Make-a-Video、Google 的 Lumiere、Runway 的 Gen-2 以及 OpenAI 的 Dall-E。
在 SORA 时代之前，我们有了 OpenAI 的 Dall-E（Diverse All-Purpose Lightweight Layout Engine 的缩写）。它于 2021 年 1 月推出，是 OpenAI 的多模态文本生成图像生成式 AI 工具。它是 GPT-3 的定制版本，拥有 120 亿个参数。随后，Dall-E 2 在 2022 年问世，图像分辨率提升了四倍，且采用了 35 亿参数的精简架构进行图像生成。与前作不同，Dall-E 2 引起了极大的轰动。
SORA 架构及其工作原理
SORA 使用基于扩散的 Transformer 架构进行视频生成。下一节将详细介绍。
SORA 将视觉补丁（visual patches）用作 Token。视频数据被分解为帧，每一帧又被分解为像素组。SORA 能够捕捉像素的时间信息。
现在让我们探讨 SORA 架构的组成部分。
视频压缩
其目的是高效地对视频内容进行编码和解码。利用变分自编码器 (VAE) 等框架使之成为可能。SORA 将原始视频压缩为存储空间和时间信息的潜在表示（latent representation）。
时空补丁 (Space Time Patches)
这是 SORA 的核心。它们基于 ViT (Vision Transformer)。传统上，ViT 使用一系列图像补丁来训练 Transformer 模型。借助基于补丁的表示，SORA 可以处理具有不同分辨率、长度甚至宽高比的视频和图像。
统一表示 (Unified Representations)
SORA 将所有形式的视觉数据转换为统一表示。在这里，视频被压缩到低维潜在空间并分解为时空补丁。为了简单、可扩展性和稳定性，它使用固定大小的补丁。
可变分辨率
OpenAI 尚未提供关于此项技术的详细信息。在这里，模型可以将视频分割成补丁，从而增强编码过程。
我该如何使用 SORA？
SORA 尚在开发中，目前仅向部分视觉艺术家、设计师和电影制作人开放访问权限，以获取反馈并改进模型。OpenAI 尚未确定 SORA 向公众开放的具体时间表，但预计将在今年某个时候实现。目前，您可以访问 OpenAI 了解更多关于 SORA 的信息。
结论
与 ChatGPT 和 Dall-E 一样，SORA 也将证明自己在生成式 AI 领域具有开创性。人们只能期待该模型的强大能力，并在正式公开时揭开面纱。
以上就是 SORA 的简要介绍。我们下期再见！
