在终极成品所描述的后当代图景中,一位女性正在新城市中探求着属于自己的位置,画面采取素描风格,镜头伴随着音乐不断移动,从通亮的樱花树转场至纽约地铁。Sagans的艺术家们共同展示了,AI不一定预示着我们的事情(乃至全体天下)将被它接管的恐怖前景。相反,它可能会成为开释我们全新创作潜力的关键。
颠覆音乐行业
根据Sagans的3D专家Aurelien的说法,《Coherence》准确地代表了这个团体所要实现的目标。“我们觉得,音乐行业不愿意冒险,除非存在利益驱出发分。”他阐明说,“因此靠谱的内容开始减少,这正是匆匆使我们创办Sagans的最初缘故原由。”
Sagans团体由音乐家、美术设计师和研究职员组成,他们在制作第一部音乐录影带之前,并不须要等待歌曲创作完成。这为团队供应了更多的韶光和自由,探索如何通过人工智能和实时图形等技能实现愿景。
“虚幻引擎5是我们最先决定采取的技能,”Aurelien连续说,“我们首先通过Quixel资产库创建了全体天下,紧接着,我们采取MetaHuman Creator创造了逼真的角色。这为我们改变了统统。溘然间,我们就可以在短韶光内制作出俊秀的东西了。我们知道,我们已经准备就绪,可以开始制作《Coherence》了。”
添加AI
起初,团队决定利用大友克洋的经典动画《阿基拉》的风格,为视频的审美奠定根本。下一步就创造视频中的女主角。“在利用虚幻引擎事情之前,我们对3D天下不是很熟习,”Aurelien说,“乍看之下,创造角色彷佛是一项非常繁芜的任务。幸运的是,MetaHuman Creator让事情变大略了。”
为了创造让不雅观众觉得亲切的角色,团队稠浊了MetaHuman数据库中三张面孔的元素,找到了自己喜好的结果。接下来,他们利用iOS的Live Link Face运用,为角色制作了面部表情动画。与此同时,Sagans的艺术家们还开始利用Quixel构建视频的虚幻引擎环境,从日本风格的英国街道,到纽约的地铁,搜罗万象。
“创建环境时,Lumen发挥了至关主要的浸染,”Aurelien阐明说,“有了它,我们能够在不该用大量硬件资源的条件下实时处理光照。再合营利用Niagara创造雨水等粒子,在短短几秒钟内,我们就可以天生与用户界面中完备同等的渲染。”
末了一步是根据场景的须要,通过三套独立的AI算法天生虚幻引擎输出,营造终极的大友克洋风格。第一套算法许可Sagans的艺术家利用文本描述场景风格,然后以视频形式将其表现出来。第二套算法会利用参考图像制作动画视频,而末了一套算法可将实景真人电影转变成风格化的动画影片。
“在大多数镜头中,我们都用到了文本转视频算法。”Aurelien补充说,“为此,我们利用Disco Diffusion 5帮助天生单独的帧,然后通过算法将这些帧转变成视频。我们必须确保文本内容非常详细,不仅能描述出风格,还要补充所有疏忽:如果没有提到天空,机器可能会忘却城市顶部必须有一片天空。在得到不错的第一帧画面之后,我们还要根据运镜的须要,供应足够的描述,天生接下来的帧,然后在第20帧处末了一次检讨渲染。”
利用虚幻引擎的成果
由于利用了独特的实时3D和AI事情流程,从第一个镜头到《Coherence》的终极渲染,全体过程只花了三位Sagans创作者八周韶光。“我们想要一种既大略易用又足够快速的办理方案,帮助我们迅速实现愿景,虚幻引擎没有让我们失落望。”Aurelien补充说,“只需几次点击,我们就可以轻松创建极其风雅的角色和城市环境,在没有动作捕捉服的情形下为女主角制作动画。”
现在,《Coherence》已创作完成,团队操持在未来的音乐录影带项目中连续利用虚幻引擎和AI。“第一次发布内容常日会让人伤脑筋,但《Coherence》取得了出色的反响,”Aurelien总结说,“我们希望人们明白,人工智能的涌现是为了帮忙和勉励我们,而不是抢走我们的事情,这个录影带正是我们实现这个目标的第一步。”
本文转自虚幻引擎官网~