文 | AI大模型工场，作者 | 星奈，编辑 | 方奇
春节假期期间，出身了两个顶流。一个是成功减肥100斤的贾玲，还有一个AI科技圈的Sora。
就在三天前，昔时夜家都还在沉浸在春节假期中时，OpenAI却悄悄地放出一记大招，在没有任何预兆和透露的情形下，奥特曼溘然官宣了OpenAI首个文生视比年夜模型Sora，颠覆了全体天生式视比年夜模型的环球格局。
随着Sora的亮相，关于它的谈论和宣布如潮水般涌来。“Sora风”不仅席卷全体科技圈，也在影视圈、游戏圈刷屏，马斯克、周鸿祎、贾扬清等一众科技大佬纷纭了局谈论。
马斯克直言：人类要塌台了。
360创始人周鸿祎第一韶光发博表示，Sora意味着AGI实现将从10年缩短到两三年。他谈到Sora通过把大措辞模型和扩散模型结合，实现了对现实天下的理解和对天下的仿照两层能力。一旦AI接上摄像头，把所有电影、YouTube和TikTok上的视频看一遍，对天下的理解将远超过笔墨学习。
前阿里VP贾扬清也对Sora赞不绝口，直呼：真的非常牛。他认为Sora的涌现将对全体AI行业产生深远影响。对付对标OpenAI的公司来说，它们将面临被其他大厂收购的机会；对付算法小厂来说，它们要么在算法上与OpenAI媲美，要么在垂直领域深耕运用，要么就选择开源。他还预言，随着Sora的推出，infra的需求将连续猛增。
随着Sora观点的持续发酵，成本市场也闻风而动。2月19日早盘，Sora观点股大幅高开，个股掀涨停潮。截至发稿，会畅通讯、当虹科技、因赛集团等7股涨停，易点天下、数码视讯等跟涨。
然而，Sora的涌现也引发了人们对付“AI代替人类”的焦虑。随着AI技能的不断发展，许多行业都面临着被自动化和智能化的风险。这种焦虑不仅表示在科技圈内部，也在各个行业中蔓延开来。
有趣的是，在互联网上，一些人已经敏锐地捕捉到了这种焦虑感情的商业代价。他们利用人们害怕被AI取代的生理售卖各种AI课程，并赚了春节过后的第一桶金。
AI输出视频效果炸裂，现实内爆
这一次，Sora之以是能够震荡行业，成为“顶流”，在于其能够对天下进行仿照，它不仅能够理解提示词中的角色、场景、观点等，还能理解“这些事物在物理天下中是如何存在的”。
从时长到运镜再到角色理解，Sora模型刷新了多个行业指标，乃至重新定义了文生视频在当下的技能极限。
首先在视频天生时长上，此前的视频天生模型Runway、Pika等天生的视频长度仅为几秒，Sora的60秒超长长度可谓吊打同行。
只要输入“猛犸象在雪地上走进”、“维多利亚冠鸽”等关键词就能够迅速天生一个60秒旁边的高清视频，里面包含的丰富的细节、鲜艳的色彩。
目前，Sora还能够天生具有多个角色、特定类型的运动以及主题和背景的准确细节的繁芜场景。该模型不仅理解用户在提示中哀求的内容，还理解这些东西在物理天下中的存在办法。
例如，输入提示词：中国龙的中国农历新年庆祝视频。
Sora就能够天生一个热闹的舞龙游街视频，里面一个值得把稳的细节是，有不少不雅观众在举动手机录视频，这一细节不仅为全体场景增长生动性与现实感，更展示了Sora模型对当代文化和习俗的深刻理解。
Sora 还可以在单个天生的视频中创建多个镜头，也便是说，Sora已经节制“运镜”技能。不少网友调侃：“自导电影，指日可待。”
提示词：无人机摄像机环绕着一座俏丽的历史教堂盘旋。Sora视频运镜以无人机视角对教堂环抱拍摄，这个视频的运镜彷佛有与专业拍照师一比高下的意味。
不仅如此，Sora还能够理解并天生专业拍照动画效果。例如，输入提示词：从郊区房屋的窗台上长出的一朵花的定格动画，将得到以下画面。一朵花缓缓绽放，期间还有跟随花朵绽放的丝滑运镜，谁看了不说一声“牛逼”。
除了文生视频外，Sora还支持图生视频、扩展天生视频、视频天生视频、连接视频等。
图生视频
提示词：在一个华美的历史大厅里，一个巨大的潮汐达到顶峰并开始崩溃。两名冲浪者捉住机遇，闇练地驾驭海浪。
扩展天生视频
Sora 还能够向前或向后扩展视频。以下视频从天生的视频片段开始向前、向后延伸，以产生无缝的无限循环。
视频天生视频
利用SDEdit，(32)到索拉技能使 Sora 能够零镜头转换输入视频的风格和环境。
输入视频
将设置改为在茂密的丛林中输入视频
连接视频
Sora可以在两个输入视频之间逐渐插值，在具有完备不同主题和场景构图的视频之间创建无缝过渡。高下两侧视频结合天生中间视频。
不过，Sora模型的弱点也很明显，在以下视频中，我们创造，老人吹烛炬并没有将烛炬吹灭；篮球穿过球筐边缘直接落地。
Sora难以准确仿照繁芜场景的物理特性，并且可能无法理解因果关系，此外，还可能稠浊提示的空间细节，如旁边稠浊等。
理解和仿照现实天下到底该如何实现
Sora作为一种扩散模型，具备三维空间连贯性、仿照数字天下、长期连续性和物体持久性等特点。
其演习过程受到大措辞模型的启示，采取扩散型变换器构造，大略来说，便是将视频压缩到低维潜在空间并分解为时空区块。Sora在压缩空间上演习并天生视频，合营解码器模型还原到像素空间。随着打算量增加，样实质量显著提升。
Sora可天生不同分辨率、持续韶光和纵横比的视频，并利用DALL·E 3为视觉演习数据天生高度描述性的标题，将简短提示转换为详细提示。因此，该模型能够更准确地理解提示词文本。
在数据方面，OpenAI将视频和图像表示为patch，类似于Transformer中的tokens。这种基于patch的表示使得Sora可以在比以前更广泛的视觉数据上进行演习，涵盖不同的持续韶光、分辨率和纵横比。
其余，OpenAI还创造在原始大小的数据上演习比较以往将视频调度大小、裁剪或修剪为标准大小具有更为明显的好处。
采样灵巧性
Sora可以对宽屏1920x1080p视频、垂直1080x1920视频以及介于两者之间的所有内容进行采样。这使Sora可以直接以原始纵横比为不同设备创建内容。它还使我们能够在以全分辨率天生之前以较小的尺寸快速制作内容原型——所有这些都利用相同的模型。
改进的取景和构图
OpenAI创造，以原始纵横比对视频进行演习可以改进构图和取景。研究团队将Sora与模型的一个版本进行了比较，该模型将所有演习视频裁剪为正方形，这是演习天生模型时的常见做法。在方形裁剪上演习的模型有时会天生视频，个中主体仅部分可见。比较之下，Sora的视频改进了取景。
Sora视频模型还支持现有图像或视频输入，并具有图像生成功能、新兴的仿真功能。这些功能使 Sora 能够仿照物理天下中人、动物和环境的某些方面。
OpenAI表示，Sora是能够理解和仿照现实天下的模型的根本，并且相信这一能力将是实现AGI的主要里程碑。
Sora刷屏时期，海内厂商抢注文生视频
这次，Sora视频模型的刷屏，无疑在海内AI领域掀起了巨大的波澜。
从之前爆火的Runway、Pika，到现在的Sora，随着多模态模型能力的不断提升，加注文生视频领域成为海内大厂发展大模型的必经之路。
在中国的大模型企业里，AI大模型工场一贯在跟踪和宣布，以百度为例。去年年末，推出文生视频工具“度加剪辑”，它凭借一键获取最新热点、AI天生文案、一键天生视频等强大功能，迅速在市场上崭露锋芒。
与此同时，360作为海内有名的安全企业，在AI领域同样有着深厚的积累。2023年6月份就推出了“360智脑文生视频”的创尴尬刁难象，显示了“无中生有”的能力。
字节跳动也在积极布局AI，日前，抖音集团CEO张楠宣告已经辞去集团CEO一职，全力聚焦剪映发展，据AI大模型工场理解，张楠过去一年已经在该领域投入了大量精力，并即将推出一个新的AI生图和视频产品。
阿里达摩院也宣告开源Video-LLaMA，帮助大措辞模型加上了“眼睛”和“耳朵”，使其能够理解和天生视频内容。
此外，除了这些科技巨子，更多的初创企业也在跃跃欲试。如“数美科技”推出的“视频内容天生器”等。这些初创企业的加入，无疑为文生视频这一新赛道注入了更多的活力和可能性。
实际上，文生视频的爆发在猜想之中，只是没有想到会这么快。AI大模型工场在之前的文章中就曾谈到，2024年多模态将成为主流叙事，从笔墨、图像到视频，多模态让AI更直不雅观和生动。
可以说，Sora的涌现加速了海内大模型多模态能力的发展，为海内AI市场带来了新的机遇和寻衅。在这个新的一年里，谁能够最先做出“国产版Sora”，或许将成为决定胜负的关键。
但无论如何，这一场由Sora引发的AI热潮，已经让全体海内大模型市场充满了无限的可能性和期待。