北京韶光2月16日凌晨2点旁边，美国OpenAI公司正式发布其首个文本-视频天生模型Sora。
据悉，通过简短或详细的提示词描述，或一张静态图片，Sora就能天生类似电影的逼真场景，涵盖多个角色、不同类型动作和背景细节等，最高能天生1分钟旁边的1080P高清视频。
这是继Runway、Pika、谷歌和 Meta 之后，OpenAI 正式加入到这场 AI 视频天生领域“战役”当中，同时也是GPT、DALL·E之后，2024年 OpenAI 发布的旗下最新、最主要的 AI 产品系列。
OpenAI强调，“Sora是能够理解和仿照现实天下的模型的根本，我们相信这一功能将成为实现通用人工智能（AGI）的主要里程碑。”
更早之前，谷歌昨夜23点溘然升级了Gemini系列模型，并发布用于早期测试的Gemini 1.5第一个版本——Gemini 1.5 Pro，采取稀疏MOE架构，配备了128000 个 token 高下文窗口，性能和长文本都超过了GPT-4 Turbo。
从Sora到Gemini，所有人都在感叹：行业真的变天了，AI 快要把人类KO了；好莱坞的时期真的要结束了？
OpenAI视频天生模型Sora出身：效果炸裂、现实不存在了
OpenAI今晨公布的首个视频天生模型Sora，采取一种名为扩散模型的技能（diffusion probabilistic models）。
而且，与 GPT 模型类似，Sora 也利用了Transformer 架构，并完美继续DALL·E 3的画质和遵照指令能力，天生的视频一开始看起来像静态噪音，然后通过多个步骤去除噪音，逐步转换视频。
对付初学者来说，Sora 可以天生各种风格的视频（例如，真实感、动画、黑白），最长可达一分钟 —— 频年夜多数文本-视频模型要长得多。
这些视频保持了合理的连贯性。比较其他 AI 视频模型，Sora视频天生质量好多了，更让人“舒畅”——没有涌现“人工智能怪异”类场景。
比如，AI 想象中的“龙年春节”，Sora能形成紧跟舞龙军队举头好奇的儿童，也能天生海量人物角色各种行为。
输入 prompt（提示词）：一位 24 岁女性眨眼的极度特写，在邪术时候站在马拉喀什，70 毫米拍摄的电影，景深，鲜艳的色彩，电影效果。
输入 prompt（提示词）：一朵巨大、高耸的人形云笼罩着大地。云人向大地射出闪电。
输入 prompt（提示词）：几只巨大的毛茸茸的猛犸象踏着白雪皑皑的草地走近，它们长长的毛茸茸的皮毛在风中轻轻飞舞，远处覆盖着积雪的树木和雄伟的雪山，午后的阳光下有缕缕云彩，太阳高高地挂在空中间隔产生温暖的光芒，低相机视角令人惊叹地捕捉到大型毛茸茸的哺乳动物，具有俏丽的拍照和景深效果。
通过这些动图来看，Sora不仅可以在单个视频中创建多个镜头，而且还可以依赖对措辞的深入理解准确地阐明提示词，保留角色和视觉风格。
当然，Sora也存在一些弱点，OpenAI表示，它可能难以准确仿照繁芜场景的物理事理；可能无法理解因果关系；还可能稠浊提示的空间细节；可能难以精确描述随着韶光推移发生的事宜，例如遵照特定的相机轨迹等。
但瑕不掩瑜，Sora不仅能仿照真实天下，而且包括学习了拍照师和导演的表达手腕，将 AI 视频惟妙惟肖地展现出来。
因此，Sora已经成为了目前最强的 AI 视频天生类模型。
在社交平台上，已经有一些视觉艺术家、设计师和电影制作人（以及OpenAI员工）得到Sora访问权限。他们开始不断放出新的提示词，OpenAI CEO奥尔特曼开始了“在线接单”模式。
带上提示词@sama，你就有可能收到奥尔特曼“亲自发布”的 AI 视频回答。
截至发稿前，OpenAI公布了更多关于Sora的技能细节。
技能报告显示，OpenAI并不是把Sora纯挚当做一个视频模型来看待：将视频天生模型作为“天下仿照器”，不仅可以在不同设备的原生宽高比直接创建内容，而且展示了一些有趣的仿照能力，如3D同等性、长期同等性和工具持久性等。
“我们探索视频数据天生模型的大规模演习。详细来说，我们在可变持续韶光、分辨率和宽高比的视频和图像上联合演习文本条件扩散模型。我们利用对视频和图像潜在代码的时空补丁进行操作的Transformer架构。我们最大的模型 Sora 能够天生一分钟的高保真视频。我们的结果表明，扩展视频天生模型是构建物理天下通用仿照器的一条有出息的路子。”OpenAI表示。
整体来看，Sora天生的视频噪音比较少，原始的演习数据比较“干净”，而且基于ChatGPT、DALL·E 文生图技能能力，Sora视频天生技能更加高超。
公布后，网友直呼，事情要丢了，视频素材行业要RIP。
论文链接：https://shrtm.nu/sqr
谷歌Gemini1.5火速上线：MoE架构，100万高下文
除了Sora之外，本日凌晨，操持全面超越GPT的谷歌，宣告推出 Gemini 1.5。
Gemini 1.5 建立在谷歌根本模型开拓和根本举动步伐之上，采取包括通过全新稀疏专家稠浊 (MoE) 架构，第一个版本Gemini 1.5 Pro 配备了128000个token 高下文窗口，可推理100,000 行代码，供应有用的办理方案、修正和注释使 Gemini 1.5 的演习和做事更加高效。
谷歌称，Gemini 1.5 Pro性能水平与谷歌迄今为止最大的模型 1.0 Ultra 类似，并引入了长高下文理解方面的打破性实验特色，性能、文本长度均超越了GPT-4 Turbo。
从本日开始，少数开拓职员和企业客户可以通过 AI Studio 和 Vertex AI 的私人预览版在最多 100 万个 token 的高下文窗口中进行考试测验 1.5 Pro 预览版。
谷歌表示，其致力于负任务地将每个新一代 Gemini 模型带给环球数十亿人、开拓者和企业用户利用。未来，当模型进行更广泛的发布时，届时谷歌将推出具有标准 128,000 个 token的 1.5 Pro版本，乃至扩展到100 万个 token 的定价等级。
One More Thing：AI 行业都“卷”起来了
有趣的是，截至发稿前，Meta也公布了一种视频联合嵌入预测架构技能V-JEPA。
这是一种通过不雅观看视频教会机器理解和仿照物理天下的方法，V-JEPA可以通过自己不雅观看视频来学习，而不须要人类监督，也不须要对视频数据集进行标记，乃至根据一张静止图片来天生一个动态的视频。
与其他模型比较，V-JEPA的灵巧性使其在演习和样本效率上实现了1.5到6倍的提升。其余，在图像分类中，它可识别图像中的紧张工具或场景；动作分类方面，它识别视频片段中的特定动作或活动；时空动作检测方面，可识别视频中动作的类型及其发生的详细韶光和位置。
跑分方面，V-JEPA在Kinetics-400达到了82.0%的准确率；Something-Something-v2达到了72.2%的准确率；ImageNet1K图像分类任务上达到了77.9%的准确率。
Meta称，这是人工智能模型迈出的又一主要一步利用对天下的学习理解来操持、推理和完成繁芜的任务。而且，V-JEPA展示了Meta在通过视频理解推进机器智能方面的前辈造诣，为实现更高等的机器智能和人工通用智能（AGI）奠定根本。
总结来看，2024年开年，AI 大模型技能进展全面加速，视频、图像、文本天生能力比一年前大大增强。
如果说，2023年还是“AI 图文天生元年”的话，今年，OpenAI将推动行业进入”AI视频天生元年”。
如果按照最近估值超过800亿美元的OpenAI公布新产品的速率来打算，GPT-5将很快对外发布。
2月初，被誉为“女版巴菲特”的方舟投资管理公司CEO凯茜·伍德（Cathie Wood）最新预测，AI 技能发展速率快于市场预期，AGI最早将在2026年涌现，最晚则到2030年涌现。
（本文首发钛媒体App，作者｜林志佳）