机器之心编辑部
欢迎来到 bling zoo！
北京韶光本日凌晨，OpenAI 正式发布了文本到视频天生模型 Sora，继 Runway、Pika、谷歌和 Meta 之后，OpenAI 终于加入视频天生领域的战役。
山姆・奥特曼的放出后，看到 OpenAI 工程师第一韶光展示的 AI 天生视频效果，人们纷纭表示感叹：好莱坞的时期结束了？
OpenAI 声称，如果给定一段简短或详细的描述或一张静态图片，Sora 就能天生类似电影的 1080p 场景，个中包含多个角色、不同类型的动作和背景细节。
Sora 有哪些特殊之处呢？它对措辞有着深刻的理解，能够准确地阐明 prompt 并天生吸引人的字符来表达充满活力的情绪。同时，Sora 不仅能够理解用户在 prompt 中提出的哀求，还能 get 到在物理天下中的存在办法。
在官方博客中，OpenAI 供应了很多 Sora 天生的视频示例，展示了令人印象深刻的效果，至少与此前涌现过的文本天生视频技能比较是这样。
对付初学者来说，Sora 可以天生各种风格的视频（例如，真实感、动画、黑白），最长可达一分钟 —— 频年夜多数文本到视频模型要长得多。
这些视频保持了合理的连贯性，它们并不总是屈从于所说的「人工智能怪异」，比如物体朝物理上不可能的方向移动。
先让 Sora 天生一张中国龙年舞龙的视频。
比如输入 prompt：加州淘金热期间的历史镜头。
输入 prompt：玻璃球的特写视图，里面有一个禅宗花园。球体中有一个小矮人正在沙子上创造图案。
输入 prompt：一位 24 岁女性眨眼的极度特写，在邪术时候站在马拉喀什，70 毫米拍摄的电影，景深，鲜艳的色彩，电影。
输入 prompt：穿过东京郊区的火车窗外的倒影。
输入 promot：赛博朋克背景下机器人的生活故事。
画面太真实，同时太诡异
但 OpenAI 承认，当前的模型也有弱点。它可能难以准确仿照繁芜场景中的物理征象，也可能无法理解详细的因果关系。该模型还可能稠浊提示的空间细节，例如稠浊左和右，并可能难以精确描述随韶光发生的事宜，如跟随特定的摄像机轨迹。
比如他们创造，在天生的过程中动物和人会自发涌现，尤其是在包含许多实体的场景中。
不才面这个例子中，Prompt 本来是「五只灰狼幼崽在草丛环抱的偏僻碎石路上嬉戏追逐。幼狼们奔跑着、跳跃着，相互追逐着、咬着，嬉戏着。」但所天生的这种「复制粘贴」的画面很随意马虎让人想起某些神异鬼怪传说：
还有下面这个例子，吹烛炬之前和吹烛炬之后，火苗没有丝毫变革，透露出一种诡异：
技能细节
对 Sora 背后的模型细节，我们知之甚少。据 OpenAI 博客，更多的信息将在后续的技能论文中公布。
博客中透露了一些根本信息：Sora 是一种扩散模型，它天生的视频一开始看起来像静态噪音，然后通过多个步骤去除噪音，逐步转换视频。
Midjourney 和 Stable Diffusion 的图像和视频天生器同样基于扩散模型。但我们可以看出，OpenAI Sora 天生视频的质量好得多。Sora 觉得像是创建了真实的视频，而以往这些竞争对手的模型则觉得像是 AI 天生图像的定格动画。
Sora 可以一次性天生全体视频，也可以扩展天生的视频，使其更长。通过让模型一次预见多帧画面，OpenAI 办理了一个具有寻衅性的问题，即确保被摄体纵然暂时离开视线也能保持不变。
与 GPT 模型类似，Sora 也利用了 transformer 架构，从而实现了卓越的扩展性能。
OpenAI 将视频和图像表示为称为 patch 的较小数据单元的凑集，每个 patch 类似于 GPT 中的 token。通过统一数据表示办法，OpenAI 能够在比以往更广泛的视觉数据上演习扩散 transformer，包括不同的持续韶光、分辨率和宽高比。
Sora 建立在过去 DALL・E 和 GPT 模型的研究根本之上。它采取了 DALL・E 3 中的重述技能，即为视觉演习数据天生高度描述性的字幕。因此，该模型能够在天生的视频中更虔诚地遵照用户的笔墨提示。
除了能够仅根据笔墨解释天生视频外，该模型还能根据现有的静态图像天生视频，并准确、细致地对图像内容进行动画处理。该模型还能提取现有视频，并对其进行扩展或添补缺失落的帧。
参考链接：https://openai.com/sora