编辑：Panda、大盘鸡
视频天生领域真是越来越卷且越来越迈向实用性！
在 OpenAI Sora 难产的时候，Meta 首次公开展示了自家的「用于媒体的打破性天生式 AI 研究」：Meta Movie Gen。
Meta 在相应博客中利用了「premiere」一词，也便是初次展示，因此手痒的用户可能还得再等上一段韶光。
Meta 表示：「无论是希望在好莱坞大展技艺的电影制作人，还是爱好为不雅观众制作视频的创作者，我们相信每个人都该当有机会利用有助于提高创造力的工具。」
根据 Meta 的描述，Movie Gen 的功能包括：文本天生视频和音频、编辑已有视频、图片生视频。并且人类评估表明，Movie Gen 在这些任务上的表现均优于行业内类似模型。
详细的效果如何，我们先来看几个示例。
可以看到，小女孩在奔跑的过程中衣服的褶皱就已经吊打很多视频天生运用了。
prompt：一个女孩正在海滩上奔跑，手里拿着一只鹞子。她穿着牛仔短裤和黄色 T 恤，阳光洒在她身上。
在转头、正视前方、微笑的几个动作中，人物面部依然可以保持稳定状态，战胜了形变。怪不得 Meta 在博客中还谈到，这是能够用来分享日常生活的名贵技能。
prompt：一名女子正坐在南瓜田的草地上。她围着围巾，手里拿着一个杯子。背景中是一排排南瓜。
天生动物对 Movie Gen 来说也是小菜一碟。动物的毛发、动作都十分逼真。仔细看这只猴子的尾巴，在遮挡后依然能够遵照遮挡前的运动轨迹。背景天生结果也十分贴合 prompt。水面的颠簸、倒映都维妙维肖。不过水下折射的天生效果看起来还有些进步空间。
prompt：一只红脸白毛的猴子正在天然温泉中沐浴。猴子在玩水面上的一艘微型帆船，这艘帆船由木头制成，配有白色的帆和小舵。温泉周围环抱着郁郁葱葱的绿植，有岩石和树木点缀其间。
视频韶光长一些，Movie Gen 也能有稳定的表现。人物大幅度动作的展现也比较逼真。但每一帧定格下来，还会有些瑕疵。不过这是视频天生一向的难题，Meta 或许会在未来进行改进。
prompt：镜头位于一名男子的身后。男子赤裸上身，腰间系着绿色布料，赤脚站立。他的双手各持一个燃烧的物体，做出大幅度的圆周动作。背景是一片沉着的海面，火舞营造出迷人的氛围。
Sora 刚刚问世时，每每还须要 Elevenlabs 这样的音频天生运用来赞助。而 Movie Gen 显然更加便捷，除了视频天生，配备相应的音乐、音效也是拿手好戏。
面对一全体视频的场景，得当的背景音乐能够贯穿全程。不仅如此，音效的适配度也很高。这个瀑布倾泻的水声就十分逼真。
视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650936903&idx=1&sn=ce6d9d9b862c95a11fcfbc45ef0c7483&chksm=84e7d239b3905b2fc62f64be47bbd94b903a079b388d41ff31fbacd3c66458bf9351b740e267&token=140482680&lang=zh_CN#rd
prompt：雨水倾泻在峭壁和人身上，有背景音乐。
更让人惊异的是，音效还能够精准地与视频内容匹配。它能够通过视频中的动作节点来把握音效涌现的机遇，让画面和声音相辅相成，给我们呈现出完全的天生效果。
视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650936903&idx=1&sn=ce6d9d9b862c95a11fcfbc45ef0c7483&chksm=84e7d239b3905b2fc62f64be47bbd94b903a079b388d41ff31fbacd3c66458bf9351b740e267&token=140482680&lang=zh_CN#rd
prompt：车轮飞速旋转，滑板落在水泥地上发出砰的一声。
无论是视频，还是音频 Movie Gen 看起来都表现精良。
如果 Meta 所言非虚，那么 Movie Gen 也真算得上是目前最前辈和最沉浸式的「讲故事模型套件（storytelling suite of models）」。
Meta 表示演习利用的数据集都是公开数据集或已得到授权的数据集。下面将简要先容各项能力以及背后的技能，更多详情请参阅原论文。
论文名称：MovieGen: A Cast of Media Foundation Models论文链接：https://ai.meta.com/static-resource/movie-gen-research-paper更多演示：https://ai.meta.com/research/movie-gen/
Meta 在博客中大略回顾了自己的视频天生之旅。他们的第一波天生式 AI 研究始于 Make-A-Scene 系列模型，这些模型可以天生图像、音频、视频和 3D 动画。
随着扩散模型的涌现，他们又基于 Llama 根本模型做出了第二波研究，成功实现了更高质量的图像和视频天生以及图像编辑。
Movie Gen 则是 Meta 的第三波研究。他们将以上所有模态都组合到了一起，并能以前所未有的办法为用户供应进一步的细粒度掌握。
下面详细先容 Movie Gen 的各项能力。
视频天生
给定文本提示词，Movie Gen 会利用一个针对文生图和文生视频任务优化过的联合模型来创建高质量和高清晰度的图像和视频。这个 30B 参数的 Transformer 模型有能力天生长度最多 16 秒帧率为 16 FPS 的视频。Meta 表示还创造这些模型可以推理物体运动、主客体交互和相机运动，并且它们还能学习各种观点的合理运动 —— 这也使它们成为了同类中的 SOTA 模型。
详细流程如下图所示，他们先通过一个韶光自动编码器模型（TAE）演习了一个时空压缩的隐空间，然后再基于此演习了一个天生模型。
模型架构上，他们采取了 Transformer，整体位于 Llama 3 的设计空间中。下表展示了其 30B 参数根本模型的各个超参数。值得把稳的是，这里的 30B 参数指的是 Transformer 本身的参数量，并不包含文本嵌入模型、TAE 等。
为了演习这个模型，Meta 利用了多达 6144 台 H100 GPU，每一台的热设计功耗为 700W，并且都配备了 80GB 的 HBM3。
下图展示了 Movie Gen Transformer 骨干网络的整体构造以及所利用的模型并行化机制。详细来说包括张量并行化（TP））、序列并行化（SP）、高下文并行化（CP）和全共享式数据并行（FSDP）。
演习流程上，他们采取了一种多阶段演习方法，该方法分为三个阶段：
在文生图（T2I）任务上进行初始演习，之后再在文生图和文生视频（T2V）任务上进行联合演习；逐步从低分辨率 256 像素的数据扩展成 768 像素的高分辨率数据；在打算和韶光限定上，利用改进过的数据集和已优化的演习方法进行持续演习。之后自然也会实行微调。
而在推理阶段，Meta 的一个创新思路是首先利用 Llama 3 对用户输入的提示词进行重写，将其扩展成更加详细的版本。实践表明该方法确实有助于提升天生结果的质量。此外，Meta 还在提升推理效率方面引入了一些新思路。
效果上，下表展示了 Movie Gen Video 模型与之前干系研究的胜率情形。把稳这里的数值是 Movie Gen 的得胜百分比减去落败百分比，因此可知 Movie Gen 的整体表现赛过之前的模型。
个性化视频
基于上述根本模型，Meta 还开拓出了个性化视频功能。用户只需供应人物图像输入和对应的文本提示词，就能天生包含该人物以及文本描述的细节的视频。Meta 表示 Movie Gen 天生的个性化视频在保留人类身份和运动方面做到了 SOTA。
下图展示了个性化 Movie Gen Video 模型（PT2V）的架构和推理流程。
详细来说，首先利用 Movie Gen Video 模型的权重对该模型进行初始化，然后添加额外的可学习参数来基于参考图像实现条件化编辑。
演习过程先是进行预演习（分为身份注入、长视频天生、提升自然度三个阶段），然后实行监督衰落调。
结果上看，在经由微调之后，PT2V 模型在身份和人脸同等性上的表现都相称卓越。
下图展示了两个与 ID-Animator 的比拟示例：
精确的视频编辑
还是基于同样的根本模型，Meta 也做出了视频编辑功能，并且可以做到非常精确的编辑 —— 可仅操作干系像素！
详细来说，给定一段视频和文本提示词，模型可以天生符合哀求的经由修正的输出，个中包括一些非常高阶的编辑功能，比如添加、移除和更换元素，修正背景和风格等全局要素。如果后面实际效果真如 Meta 描述那么好，那么这项功能可能会成为一大利器。
为了做到这一点，Meta 团队同样采取了一种多阶段方法：首先实行单帧编辑，然后进行多帧编辑，之后再整体编辑视频。
为此，他们对前述的视频天生模型进行了一番修正。首先，通过向图块嵌入工具添加额外的输入通道而实现了对输入视频的调节，从而可沿通道维度将隐含的视频输入与有噪声的输出隐视频连接起来，并将连接后的隐视频供应给模型。
此外，按照 Emu Edit 的做法，他们还加入了对特定编辑任务（例如添加工具、变动背景等）的支持。详细来说，该模型会对每个任务学习一个任务嵌入向量。对付给定的任务，模型对相应的任务嵌入运用线性变换，产生四个嵌入，这些嵌入与文本编码器的隐蔽表示连接在一起。我们还对任务嵌入运用了第二个线性变换，并将得到的向量添加到韶光步嵌入中。其余，为了完备保留模型的视频生成功能，他们将所有新添加的权重设置为零，并基于预演习的文生视频模型初始化剩余的权重。
该方法的效果非常显著，在两个数据集上的人类和自动评估结果基本都优于其它比拟方法。顺带一提，Movie Gen Edit Bench 是 Meta 提出的一个新基准，用于评估「下一代视频编辑模型的视频编辑能力」。
音频天生
此外，他们还演习了一个 13B 参数的音频天生模型 Movie Gen Audio。该模型可以基于视频和可选的文本提示词天生长达 45 秒的高质量高保真音频，包括环境声音、音效（Foley）和背景音乐 —— 所有这些都与视频内容同步。
视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650936903&idx=1&sn=ce6d9d9b862c95a11fcfbc45ef0c7483&chksm=84e7d239b3905b2fc62f64be47bbd94b903a079b388d41ff31fbacd3c66458bf9351b740e267&token=140482680&lang=zh_CN#rd
下面是 Movie Gen Audio 的模型示意图，可以看到其采取了基于流匹配（flow-matching 天生模型和扩散 Transformer（DiT）的模型架构。此外，还添加了一些条件化模块来实现对模型的掌握。
此外，他们还提出了一种音频扩展技能，可以为任意长度的视频天生连贯的音频。下面是该技能的示意图。其目标是一次天生 30 秒长度的音频，然后利用该扩展延展至任意长度。
总体而言，他们在音频质量、视频到音频对齐和文本到音频对齐方面实现了 SOTA。
结语
Meta 在架构、演习目标、数据处理方法、评估协议和推理优化等多个技能方面做出了创新打破。下图展示了 Movie Gen 四项能力的人类 A/B 评估比拟结果。正净胜率表示人类相较于其他行业模型，更加偏爱 Movie Gen。
Meta 这一次展示自己在视频天生方面的研究成果确实出人意料，这也使其成为了这片越来越拥挤的沙场的又一强力竞争者，并且我们也还不清楚 Meta 是否会像发布 Llama 系列模型那样完备免费发布 Movie Gen，让自己在真・OpenAI 之路上连续提高。总之，网友们已经在期待了。
末了，例行老例，还是得向 OpenAI 问一句：Sora？
