江苏卫视跨年晚会上，周深与邓丽君跨时空合唱《大鱼》冲动了许多人，B站弹幕被“泪目”刷屏。“虚拟邓丽君”背后的团队，来自数字王国（Digital Domain），这家公司曾用类似虚拟人的技能，完成了《速率与激情7》中已故男星保罗·沃克的戏份。
虚拟邓丽君 同样是跨年的韶光节点，百度结合AI技能推出的龚俊数字人在百度App上进行了一场直播，这是海内首个“可交互超写实虚拟人”，唱歌、说话都是由AI驱动，与虚拟邓丽君走了略为不同的技能路线。
龚俊数字人 而湖南卫视新开播的《你好星期六》，也推出了数字人小漾，与龚俊、邓丽君的“数字孪生”不同，小漾虽然语气神态跟谢娜神似，但湖南卫视显然是希望从无到有，打造一个全新的形象。
小漾
进入2022，明星与虚拟人技能的结合越来越深，越来越繁芜。 AI驱动、超写实，技能上都已成熟；而明星的“数字孪生”是否要以假乱真，还是重塑一个新的人格，也引发行业新的思考。 百度在与龚俊互助数字人时，没想到龚俊团队会提出：“不要100%相像，最好在形状、个性、特长等方面有一定的差异。” 终极，百度借助AI技能，让龚俊数字人做了一系列真人做不到的事，比如互动谈天、AI作词作曲、弹钢琴、唱歌舞蹈、直播卖货等等。
数字王国CEO谢安对剁椒TMT透露：“数字王国事实上也可以实现让AI驱动邓丽君的形象与外界对话，邓丽君的措辞、动作、表情都可以做到非常逼真。但为了担保电视节目的万无一失，也保护邓丽君的形象，数字王国终极采取了更稳妥的、中之人的办法来呈现。” 此外，新冠期间的好莱坞，大量“以假乱真”的明星数字人，正在成为影视剧中的虚拟替人。 不断迭代的明星数字人，未来将去向何处？剁椒TMT跟行业前沿的几家公司聊了聊。
01面捕、唇动、TTS、NLP……多重科技加持下的龚俊数字人
如今，在百度APP中将“龚俊数字人”设置为语音搜索助理，“龚俊”便会为你播报搜索结果。百度还根据龚俊的人设特点为其设置了可由机器学习的问答，风格与“小度”的说话个性形成了极大的差异。
百度语音搜索界面 百度龚俊数字人项目卖力人表示，从2019年开始，百度也在打造二次元数字人IP“度晓晓”，不过“明星数字人有粉丝根本，比其他网红数字人更随意马虎破圈，可以让更多人关注和利用百度APP，带动语音搜索的增长。” 据悉，龚俊数字人这一项目，由百度MEG（移动生态奇迹群组）作为统筹和核心落地，联动了百度智能云、百度大脑、语音技能部等多个部门。
在外型方面，“扫描当天影棚遭遇台风，韶光很紧张，项目组只用半小时，就扫描、捕捉好了龚俊说话时的面部表情、口型肌肉等细微变革，”卖力人表示，他们利用AI 自动天生模型，将原来几个月的制作周期压缩到了三周。
同时，百度采集了龚俊的20条语音，依托TTS（Text To Speech）技能，合成音色靠近真人的声音；接着，基于百度的自然措辞处理（NLP）技能，让数字人可以与用户对话，乃至在最近的直播中可以展现流畅的歌声。 为了让模型和AI语音结合起来，百度语音技能部用“唇动技能”还原了真人说话时的口型变革，使虚拟人说话时自然生动。“龚俊本人看到终极效果后，也以为很有趣，还乐意与龚俊数字人进行直播连线对话。” 现在，百度APP中的龚俊数字人只有几个大略动作，更深度的对话、唱歌等功能可以在百度青春版APP（Wonder）中体验。
目前，龚俊数字人比较大的不敷是动作、表情由于之前动作扫描韶光有限都还不足风雅，且由于动捕数据不敷，在此前的直播中，虽然说话、唱歌都是AI驱动，但肢体动作还是须要借助中之人来完成。 为了提升这些能力，须要对龚俊本人进行更永劫光的动作捕捉和面部捕捉。 百度方面表示，龚俊本人也有兴趣再进行一次更风雅的动作捕捉，未来，龚俊数字人有望可以根据语义自动合营肢体反应，进行更繁芜的互动。
2022年，百度“龚俊数字人”有两个任务，首先是进行机器深度学习，将百度的AI交互能力进一步迁移到龚俊数字人，逐渐引入更多功能，做事百度APP的用户。 其次便是，探索数字人商业化的道路。明星数字人的代言费显然低于明星本人，但，数字人会自带科技感，成为另一种的营销上风。目前，除了龚俊原来代言的品牌，也有其他品牌表达想要商业互助的意愿。
不过，除了与经纪公司共同拥有版权、不能代言竞品产品外，明星数字人的风雅度与资金本钱也须要进行平衡。 “龚俊数字人第一支亮相视频风雅度最高，1秒钟本钱近万元，而在Unreal中打造一个场景也价格不菲。”超写实数字人的制作本钱较高，其强大功能上线到百度App前，还要考虑安装包包体增大、影响用户体验的问题，目前它在百度App中的风雅度就比较低。
“度晓晓、龚俊数字人、祝融号数字人，我们同时在走几条不同的虚拟人道路，还须要验证模式，再进行复制。”百度干系卖力人表示。
02虚拟邓丽君背后：数字王国如何做到以假乱真？
“照片写实级”，这是数字王国CEO谢安频繁提到的一个词。 的确，作为曾卖力《泰坦尼克号》等几百部大片殊效的好莱坞巨子，打造CG级别的虚拟人，是数字王国最大的上风和特点，而虚拟邓丽君这些年也经历了许多次技能的迭代，逐渐做到“以假乱真”。 虚拟邓丽君初次登台，是在2013年周杰伦演唱会上合唱新歌《千里之外》。
谢安回顾起当年初版虚拟邓丽君的制作过程：“我一辈子都不会忘却，当时有一位得过两次奥斯卡奖的视效艺术家，他灰暗的办公室里贴满几百张邓丽君的照片，用玛雅（建模软件）一笔一划、手工勾勒出了邓小姐的3D模型。” 而在动作方面，虚拟邓丽君最初由美国的一位演员模拟动作，进行捕捉，略显浮夸，还曾受到过“像迪士尼卡通人物”的争议；而后，他们不断修正、研究邓丽君虚拟人的神态和动作，提升风雅度。
与当年不同的是，如今数字王国的虚拟人，早已可以通过实时渲染天生，不仅本钱大幅度降落，风雅度、真实感也较此前大幅度提升。 2015年，数字王国开始对人物的肌肉、毛细血管进行全方位的扫描，并引入了大量人工智能技能，利用机器深度学习去揣摩演员不同感情下的动作和表情反馈。
今年江苏卫视的跨年晚会，邓丽君背后的声音扮演者，是由模拟邓丽君而走红的歌手陈佳来担当。除此之外，数字王国结合邓丽君生前较高清的视频，将这些机器深度学习得到的“密码”输入到模型中，实时转化为邓丽君歌唱、交谈的样子。
“最令我们最激动的不是这八年来的合唱时候，而是2019年底，我们曾用视频通话软件，让虚拟邓丽君和邓丽君生前的亲朋好友们对话，有好几个人都哭了，在房间里一首首合唱，不愿意离开。” 谢安表示，“在好莱坞这个小社区，大家都知道我们是虚拟人技能的改造者。以前演员们都痛恨必须花几小时殊效扮装，还挡住了面部表情。” 在《复仇者同盟》系列的拍摄中，数字王国结合Unreal这一游戏引擎，导演可以在监视器上实时看到渲染后“灭霸”呈现的情绪，节省了很多韶光和本钱。
新冠疫情下，一些好莱坞明星拍少数电影镜头时还被哀求戴口罩，数字王国还可以仅仅根据台词、语气，演习机器深度学习，推测、渲染出演员的嘴型和表情，达到“以假乱真”的程度。
03打造明星数字人：孪生VS新生？
从商业和新意的角度来看，与明星本人的不同之处，才是虚拟人存在的意义。 很多明星都希望数字孪生跟自己有一定区隔。林俊杰也曾在抖音首秀中，与“数字孪生”M.E同台，虽然外型外型一样，但数字人的个性人设与他完备相反、还有一些不同的技能才艺，达到了有趣的效果。
如果过于真实、复制，不论是明星还是普通人的数字孪生，都面临着伦理问题的谈论。一方面，已故明星的虚拟形象不应过于商业化。 “我们心里一贯有一个道德准则，邓长富师长西席在签约时曾经说，我把亲妹妹交给你了，我说过不会让他失落望。以是，除了曾开展过线下演唱会、跨年这种主要时候演出，一样平常都是做慈善、公益活动，我们不会去过度消费邓小姐。” 其余，可以做到互换互动的超写实虚拟人，也有着类似换脸技能的伦理风险。
2019年，数字王国高管Doug Roble穿着动捕设备登上TED演讲台，而大屏幕呈现的是孪生虚拟人“DigiDoug”的演讲，他拥有逼真的毛孔、皱纹，连血液跟随表情改变以及睫毛悄悄颤动都能实现，还能瞬间切换成其他写实虚拟人。
虚拟人DigiDoug
“当你们视频采访我，怎么确保那是我，而不是我的虚拟替人？实在是公关团队在幕后帮我回答？”谢安指出，新冠期间一些好莱坞演员不愿出国拍戏被隔离、传染，或者不愿和某人拍对手戏，“当他利用虚拟替身后被提名了奥斯卡，这场戏到底是谁演的？” 在“数字孪生”之外的另一条路，则是像Ayayi、柳夜熙这类“从无到有”的虚拟人。
据悉，Ins粉丝超过305万的雀斑虚拟人“Lil mequela”，2019年营收高达7600万元公民币，单次代言互助百万元起步。 “很多大品牌有名度已经很高了，他们考虑到明星的风险，很多想打造代表自己企业文化的虚拟人，”孔繁奇表示。 不过，凭空孵化“虚拟人”碰着的难题是，建立超写实模型本钱更高；没有粉丝根本，从0开始要做什么人设、什么外型才能走红，如何进行长期内容运营？这些都是摆在数字人行业专家们面前的问题。
比如《你好星期六》里面虚拟主持人“小漾”的表现被网友评价为“还没终年夜”，很多只有图片动态的网红类虚拟人目前的粉丝数、互动量已经越来越低，没有令人“面前一亮”的人设和丰富内容。
只管虚拟人在技能发展方面已经日趋成熟，但制作本钱并未大规模降落，与此同时，缺少运营层面的操盘手，也并未涌现“独角兽”公司。
曾经，明星虚拟人须要办理的问题是“相似”，而如今，数字人行业更多考虑的是，如何让一个数字人形象招人喜好，乃至，过目不忘。 “不少公司找到我们，希望帮忙打造一个虚拟人。”一位数字人领域的操盘腕表现：“但我们常日会反问，虚拟人长什么样，是什么人设，要花多大的本钱，后续如何运营，你们，想清楚了吗？”