可能是一个个“演员”顶着“XXX演技绝了”的热搜,面无表情地涌如今各大影视剧里的时候;当然也可能是游戏里,险些没有表情变革的俊男靓女,试图让玩家隔着屏幕,对游戏或惊险或喜悦的情节产生代入感的时候。
早在2007年的一项研究中,专家通过眼部追踪技能就创造,无论是男人还是女人,在不雅观看一个陌生工具时,最关注的便是对方的面部,从这一方面来看,所有人都是“外面协会”。当然男人要轻微特殊一点,纵然对方是男性,除了面部,男性视线的其余一个热区是“下半身”。
这项研究除了让我们理解了关于男人没有用的冷知识,同样也解释了面部信息对付一个人的形象、感情等信息传达的主要性。
影视行业暂且不提,包括动捕等电影技能越来越多地在游戏上的利用,都在解释很多游戏正在朝着一个“更加自然真实”的目标提高。但人物表情的呆板、不自然却成为了很多游戏,在带给玩家沉浸感时的绊脚石。
近日,来自加拿大的视效技能公司Ziva Dynamics正式公布了次时期的实时面部绑定工具ZRT Face Trainer。虽然目前该工具依然处于约请测试阶段,不过在官方放出ZRT Face Trainer搭配虚幻4引擎制作的4K60帧演示视频后,该工具还是在Reddit等社交网络引起了热烈的谈论。
最直接的缘故原由便是演示视频中的虚拟人物表情太真实了,乃至引发了不少网友的“胆怯谷效应”。
然而对付游戏行业而言更主要的是,与当前耗时耗力的面部捕捉不同,Ziva Dynamics号称这个基于云打算和AI的工具,不仅可以实时在引擎中,“以实时帧率”反响出面捕演员的表情,还可以让经由大略处理的角色网格组件(Mesh),在没有真人角色映射的情形下,表现出超过7.2万种脸部姿态。
国内外同步发力的面部捕捉
作为一家成立于2015年的加拿大VFX公司,Ziva Dynamics已经参与了《权力的游戏》《毒液》《环太平洋》《漫威英雄之域》等好莱坞大片和游戏产品的制作。而这次ZRT Face Trainer除了它在演示中精良的表现,另一个让不少人为之激动的是,Ziva Dynamics通过该工具实现的,对付传统面部捕捉流程的改良。
众所周知,无论是动作捕捉还是面部捕捉,这一类原来在电影行业利用的技能,最直不雅观的两个特点便是贵和难。贵很好理解,园地租金、系统、人工等本钱不用多说,而难可能是很多人不会意识到的问题,毕竟不是所有人都能意识到动捕数据的后期处理是多么繁芜的一套流程,面部表情的制作周期每每可以达到数月之久。
而ZRT Face Trainer,根据Ziva Dynamics的说法,是建立在一个大小为15TB的4D扫描数据库上,并且依赖独占的AI算法,目前通过申请的专业人士,只须要将经由处理,符合系统标准的角色网格上传至Ziva Dynamics的全自动云生产管道上,“在 1 小时内,用户的角色网格就会注入游戏行业的最佳技能。”
而在官方的文档中,利用Maya或Wrap3的前期处理过程,也只有网格映射、清理和提高分辨率三步,官方估量最长耗时仅需2小时。而终极得到的结果理论上不仅可以兼容虚幻引擎,理论上还可以在其他引擎上利用。
事实上,除了Ziva Dynamics,GameLook也创造了另一家海内公司在这一壁部捕捉这一方面颇有建树,那便是同样成立于2015年的“FACEGOOD”。
实在早在今年年中,FACEGOOD就上线了一款集成面部建模、肌肉绑定,面部捕捉的软件“AVATARY”,在官网中,FACEGOOD表示,凭借着公司自2016年以来,与网易、虎牙、原力动画等大公司的互助,已经积累了超过10万的人脸表情数据,而这些也支撑起了AVATARY背后的仿真技能。
当然,AVATARY和ZRT Face Trainer在核心技能上可能有所不同,但同样地可以大大提高面部表情动画的制作效率,理论上可以将原来数月的工期压缩至几个小时。
图片来源:AVATARY官网
自然和真实是玩家急迫的需求
回到近几年的游戏市场,在人物表情方面,让笔者影象最深刻的有两款游戏,分别是《末了生还者2》和《仙剑奇侠传7》。
虽然《末了生还者2》在叙事方面在笔者看来是不合格的,但在技能上,游戏的表现可以说是行业顶级的水平。索尼也曾放出过游戏在动作和面部捕捉方面的一部分幕后内容,面捕女演员Ashley Johnson的表情在主角艾丽模型上的映射,还原度极高。
索尼官方在采访中也表示,当时《末了生还者2》所用的技能是“索尼内部最为前辈的”。
而其余一个例子便是《仙剑奇侠传7》,作为仙剑老玩家,笔者当然承认游戏的画面在光追的加持下可圈可点,但人物表情不足生动却也是Steam很多网友评论过的事实。
虽然我们能够看到的主流游戏,基本都找到了它们对待面瘫的补救方法,利用背景音乐、配音、台词等填补画面上所缺失落的深层次信息,利用这些方法,很多产品也的确在体验上做到了合格的水平。
但合格显然是不足的,在目前的游戏行业中,无论因此索尼为代表的电影化叙事的3A游戏,还是手游上以《原神》为代表的二次元和开放天下游戏,它们最吸引玩家的故事以及与角色、天下的交互都决定了,玩家对付游戏内人物在细节上有更高的哀求这一点是不会发生变革的。
乃至都不用提“元宇宙”,在目前这个阶段,表现得“真实自然”的游戏内人物已经成为了衡量游戏品质的标准之一了。
当然Gamelook也清楚,人物的真实自然不仅仅只是和表情有关,正如笔者开头所举的例子,人们虽然不雅观察另一个人物时,最集中的区域是脸部,但是在游戏的剧情、战斗、对抗中,影响游戏内人物真实性的不仅仅只是表情,在中远景镜头中,更多的反而是人物的动作、反应等。
而和面部表情一样,这些内容的制作,同样是须要大量韶光和资金、技能本钱投入的。而这也是为什么,笔者认为,相较于人类,各种AI在游戏中的角色才更像“女娲”,授予大多数游戏内人物以生命。
AI上帝
2019年的GDC上,育碧就曾分享自己在AI和角色动画上的探索,通过强化学习,AI不仅可以调度各种措辞、感情下人物的口型,育碧还利用AI大量学习动捕数据后期处理过程中“被清理”过的数据,演习AI处理这些数据的能力,自动改动原始动捕数据中的部分“错位”,减轻动画制作者的事情包袱。
早在当时,时任育碧蒙特利尔事情室研究部门实行官的Jacquier就曾预测2020年AI或许就能够做出2A级别的3D角色,2021年AI做出的3A级别的3D角色或许就能在游戏中做出和人类同等无二的动作了。
如果不算受疫情影响严重的2020年,2021的确已经涌现了不少能够创建高质量角色和美术的AI项目了。而Jacquier对付AI做出和人类同等无二的动作这一预测,我们或容许以看向EA。
EA实在早在去年年底就曾申请过有关游戏内AI学习人类行为改变行为模式的专利,在今年8月举办的Siggraph打算机图形会议上,EA也展示了一个名为“合成武术动作的神经动画分层”的视频,视频中的人物在AI的加持下,以一种拟真的办法运动、跳跃和出拳。
然而EA的重头戏还在今年9月尾上线的年货游戏《FIFA22》中,虽然今年的《FIFA22》利用的是和去年千篇一律的引擎,但在游戏的次时期版本中,EA却为其加入了名为“HyperMotion”的技能。
EA通过让AI同时捕捉球场上22名球员的动作,学习了超过870万帧高等比赛后,在最须要真实感的传统体育游戏中,利用了这一AI次时期技能,并且根据玩家的反馈,“HyperMotion”的确让游戏中球员的动作更加流畅了。
由于玩家具有相称强的不愿定性,纵然一个游戏项目有着《末了生还者2》这样的顶级制作水平和前期投入,仅凭程序和美术有限的人力投入,永久都不可能担保主角以及部分主要角色在全体游戏流程中保持自然和真实。
而这个时候,经由演习,具有学习和感知能力的AI就成为了在系统预设之外,支配角色的动作、表情,基于角色生命力和活力的最佳选择了。
在游戏行业全平台趋势日益明显的现如今,不论是手游还是已经霸占了上风地位的端游,在未来一定都会迎来玩家对游戏内人物的高标准严哀求。更何况随着VR技能的发展和推广,游戏一定也将达到类似于《头号玩家》的形态。
当玩家可以和游戏内的NPC真正面对面互换、互动的时候,届时游戏内角色的一举一动,任何的不自然,就即是时时刻刻在提醒玩家这统统都是虚假的,更严重的是除了违和,类似于Ziva Dynamics演示里展示的高写实的形象,恐怕还会引发很多人性格中,对付陌生事物敌意和戒备的本能。
这个笑颜看久了还是有点胆怯的
可以说,在虚拟和现实的界线被冲破的未来,由人类创造出的AI,或许比人类,更加适宜成为能够掌握虚拟天下中万物,包括部分虚拟人类的造物主。