(来源:RUNWAY)
在其网站上发布的演示视频中,Runway 展示了其名为 Gen-1 的软件如何将街道上的行人变成粘土木偶,或者将堆在桌子上的书变成城市景不雅观。Runway 希望 Gen-1 之于视频的代价,就像 Stable Diffusion 之于图像一样。Runway 的 CEO 兼联合创始人克里斯托瓦尔·巴伦苏埃拉(Cristóbal Valenzuela)说:“我们已经看到了图像天生模型的爆发。我相信,2023 年将会是视频之年。”
Runway 成立于 2018 年,多年来一贯在开拓人工智能视频编辑软件。它的工具被主播、视频博主以及主流电影和电视事情室利用。一些电视节目利用 Runway 软件编辑图像;电影《瞬息全宇宙》背后的视觉效果团队同时利用了该公司的技能来帮助创建某些场景。
2021 年,Runway 与德国慕尼黑大学的研究职员互助,构建了第一个版本的 Stable Diffusion。英国初创公司 Stability AI 随后参与,供应了在更多数据上演习模型所需的打算资源和资金。2022 年,Stability AI 公司将 Stable Diffusion 模型带进大众的视野,将其从研究项目转变为社交平台上的热门话题。
但现在这两家公司已不再互助。Getty 现在正在对 Stability AI 采纳法律行动——声称该公司在未经许可的情形下利用了 Getty 的图像,它涌如今 Stable Diffusion 模型的演习数据中——而 Runway 公司希望与之保持间隔。
Gen-1 代表了 Runway 公司的一个新出发点。在 2022 年底,谷歌和 Meta 都推出过文本到视频的模型,他们都可以从零开始天生非常短的视频片段。它也类似于谷歌最近发布的天生式人工智能 Dreamix,可以通过运用特定的风格从现有的视频中创建新的视频。
不过从 Runway 的演示视频来看,Gen-1 彷佛在视频质量方面更胜一筹。由于它可以转换现有的视频片段,以是它可以产生比以前大多数模型生产的长得多的视频。该公司表示,将在未来几天里在其官网上发布有关 Gen-1 产品的技能细节。
与 Meta 和谷歌不同,Runway 在建造模型时考虑了客户。巴伦苏埃拉说:“这是第一批与视频制作者社区密切开拓的模型之一。它基于我们对电影制作人和视频殊效编辑是如何进行后期制作的理解。”
Gen-1 通过 Runway 的网站在云端运行,首先将向少数被约请的用户开放,并将在几周内向候补名单上的所有人开放。
2022 年,天生式人工智能的爆炸式增长吸引了数百万人,他们第一次得到了强大的创意工具。很快,社交平台上就充满了他们分享的成果。巴伦祖埃拉希望,将 Gen-1 交到创意专业人士手中,将很快对视频制作领域产生类似的影响。
他说:“我们已经非常靠近于制作完全的故事片了。有一天,你在网上看到的大部分视频内容,可能都是(用类似方法)天生的。”
支持:Ren
原文:
https://www.technologyreview.com/2023/02/06/1067897/runway-stable-diffusion-gen-1-generative-ai-for-video/