手语“唱歌”本来就让人以为很奇妙,而这次的MTV主角之一还是一位AI合成主播,更让人十分好奇。

虽然“小聪”号称是今年5月才刚亮相的“环球首个手语AI合成主播”,但在它之前,实在已有不少AI主播亮相了,比如2019年参与了“两会”新闻播报的AI主播“新小浩”与“新小萌”;而早在2018年的一场智能视频高峰论坛上,爱奇艺低廉甜头虚拟偶像“奈奈”,也是一位AI手语主播。

虚拟偶像从最初唱歌、画画、写诗,如今终于有了一项很务实的事情:AI主播,而且还可以是手语主播。
它们的事情能力正逐步升级,让人惊艳。

AI主播可能将“各处着花”

AI主播跨界唱歌手语表达不输真人

AI主播已不仅仅是在抖音等生活频道中的画画、写诗的视频主播,它们乃至已开始正式参与新闻播报。

2018年底至2019年初,搜狗与新华社联手,陆续发布了两位全仿真智能AI主持人“新小萌”和“新小浩”,它们因此新华社的真人主播屈萌和邱浩为原型打造的3D形象,还打破了过去“坐着播新闻”的形式,升级成结合肢体动作的“站立式播报”。
它们在2019年参与当年全国“两会”新闻宣布时大放光彩,不少人都以为它们是真人主播。
尤其是“新小浩”与邱浩的“连线”互动,让人大呼“精彩”“有趣”。

这种人工智能与新闻采编深度领悟的最新打破成果,一亮相就引发了环球关注。
国外不少媒体都对此有过宣布,称它们“几可乱真”。
AI合成主播不仅能够24小时不间断地事情,还能在突发宣布中快速天生新闻视频,这不仅提升电视新闻的制作效率,提高宣布时效和质量,还降落了电视新闻的制作本钱。
有媒体乃至指出,虽然它们仍须要有人类编辑来整理播报内容,但它们有望替代普通的电视新闻播音员。

险些是同步亮相的还有爱奇艺AI手语主播“奈奈”,它以二次元形象涌现,通过语音识别并自动转换成手语表达的形式在现场播报新闻,引爆了“2018中国网络视听大会”。
它不仅展示出AI即时手语翻译的能力,也以3D立体形象丰富可定制的特点,让这项技能能够适应不同场景的需求。
不久,“奈奈”的升级版涌现,它洗面革心以适用于正式场合的真实人物形象登场,并通过一个手语学习APP开始实现普通运用,并同时在爱奇艺视频频道和新闻频道等互助中涌现,也发挥出它应有的浸染。

紧接着,AI新闻主播“新小微”、AI气候主播“雅妮”、俄罗斯语AI主播、社区“AI法官”、安然惠普的AI合成“互动客服”等纷纭登场。
最近在新华社、央视等媒体上还涌现一位柳岩同款的AI主播,它可以在同一条新闻中无缝切换多种方言,纵然是柳岩本人都不会的方言也一样妙语连珠。
如今又有了这位“唱红歌”的AI手语主播“小聪”亮相,一首《万疆》的跨界表现,就让人惊艳。

这意味着,不管你是否能接管,这些各怀绝技的AI主播已在一步步走进我们的生活,大有“各处着花”之势。

AI手语主播干的是“技能活”

AI主播的确带给我们不少新鲜感,方言版的柳岩款AI主播乃至自带喜感。
而AI手语主播的涌现,则带来了更多务实代价。

手语是听障人士与外界进行互换以及获取信息的紧张办法之一,但日常生活当中这种表达办法并不常见。
我们在看电视、用手机刷视频时,实在也很少见到有同步的手语翻译。
开拓AI手语主播,须要更多的技能支持。

AI手语主播的事情事理是通过自动语音识别技能(ASR),准确识别视频中的语音并转换为笔墨,然后通过自然措辞交互处理技能(NLP),将笔墨转换为手语内容,再通过虚拟AI人物进行输出。

这个过程提及来大略,但绝对是个“技能活”。
以“小聪”为例,这位立足于搜狗领先的“数字人”技能体系的AI合成主播,便集成了超写实3D重光照扫描还原、3D数字人建模、机器翻译、多模态数字人天生、迁移学习、实时面部动作天生及驱动、表情肢体手势捕捉等多项领先AI技能,终极实现逼真度高、动作自然生动、手语表达准确的3D数字化主播的视频内容。

个中有一个细节值得留神:手语表达时的思维办法、顺序都跟语音表达均不相同。
比如我们说“开车不饮酒”时,手语中的表达却是以“开车”“饮酒”“不许”这样顺序排列的三个手势。
如果按照正常的语序来编排手语表达,就有可能导致绝大部分听障人士只能理解不敷60%的内容。
而现在的AI手语主播们却已把稳到这个细节,它们的表现显然已符合一名合格的手语翻译的哀求。
经测评,“小聪”的手语表达对付听障人士来说,已能达到85%的可懂程度,相较于纯笔墨的信息通报也有了明显提高。

在《万疆》MTV中,可以看到“小聪”标准到位的手语肢体动作、比拟真人的细微表情,它准确演绎出了歌曲中“家国自满”的澎湃情绪,这对付一位数字人主播来说,在手部动作、面部表情、口动唇动准确表达程度等方面都哀求颇高。
相信它还可以在更多公共做事、分外教诲等场合下发挥自己作为手语主播的浸染。

科技为人赋能,技能的终极目标还是人文关怀。
随着5G时期的加速到来和AI技能的持续发展,AI主播还将给我们带来无限的运用想象,不妨拭目以待。

来源:金羊网