作者 | 韦世玮
编辑 | 漠影
搜狗在超写实3D数字人领域再度攻破一城，“跨界”手语数字人领域实现新打破！
5月17日，搜狗发布环球首个手语AI合成主播“小聪”，能够自然流畅地为听障者播报手语，在测评中可懂度约85%。
与搜狗以往发布的3D AI合成主播不同，“小聪”并不能穿越拍照棚为大家口播新闻，也不须要真人原型进行形象特色和表情肢体的数据采集，只是通过灵巧的手势动作和表情，为听力障碍人士供应“无声的沟通”。
从技能上来看，“小聪”的背后基于搜狗长期研发积累的AI分身技能，结合原力科技的行业领先3D重光照扫描还原完成的手语数字人高精度模型及采集的动画数据，赞助自研的表情肢体手势捕捉技能，生产出了高度还原真人发肤、形象逼真、动作自然生动的数字人模型。
从3D AI合成主播得手语AI合成主播，搜狗的分身技能实现了哪些打破和寻衅？“小聪”的出身又将会给社会带来哪些改变？它未来还有哪些须要不断完善的地方？
为了更深一步理解“小聪”的出身，智东西与少数媒体对搜狗AI交互技能部总经理陈伟的团队进行了采访，在探究“小聪”背后的技能新打破的同时，进一步挖掘搜狗对“小聪”未来的计策布局和构思。
一、手语主播的三大技能上风，表情唇动逼真丰富
作甚搜狗分身技能？大略来看，该技能集成了超写实3D数字人建模、机器翻译、多模态数字人天生、迁移学习、实时面部动作天生及驱动等多项AI技能。正是基于这项技能，搜狗才能让超写实3D数字人具备自然可懂的手语主播能力。
整体来看，“小聪”在数字人写实度、手语表达可懂度、手语展现接管度三大方面，都跃上了新的技能台阶。
1、超写实的逼真数字人效果
数字人写实度大幅提升的好处在于，它能显著提升手语播报带来的真实感与亲切感，进一步提高播报用户体验。
为此，“小聪”利用了行业最领先的3D重光照扫描还原、面部肌肉驱动、表情肢体手势捕捉技能，能生产出高度还原真人发肤、形象逼真、动作自然生动的数字人模型。
2、高可懂度的手语表达能力
手语有没有像自然措辞一样有一套完全的措辞体系？实际上，手语也有一套自己通用的词典。
“小聪”基于我国在2019年发布的《国家通用手语词典》，健听人只需输入日常生活中的措辞文本，就能低延迟地天生高准确率的手语措辞表征。同时，通过搜狗分身的多模态天生技能，系统能实时预测天生对应的超写实3D数字人驱动参数，并快速天生数字人手语播报视频。
陈伟谈到，“小聪”手语播报的可懂度在测评中达85%以上，能有效帮助听障者战胜理解障碍，达成信息有效通报。
3、高接管度的手语展现效果
作为一种视觉措辞，手语表达不仅仅须要依赖手势，还须要合营面部表情、唇动、姿态等办法来传达更准确的意图，也称为“非手控信息”的表达。因此，除了高可懂度的手语表达能力之外，“小聪”的手语表达细节也十分真实丰富。
通过搜狗机器翻译，系统能天生覆盖手部动作、面部表情、口动唇动等多个维度的手语表征信息。同时，基于搜狗多模态端到端天生模型进行联合建模及预测，天生高准确率的动作、表情、唇动等序列，从而实现自然、隧道、接管度更高的手语表达效果。
基于搜狗分身技能，“小聪”还能实现快速天生和批量复制，成为整年无休的“劳模”，更好地帮助听障人士办理日常生活、公共做事、分外教诲等多个场景下的沟通不畅问题。
二、面向2700万听障人群，手语合成背后的措辞鸿沟
大概有人认为，现在的语音转笔墨技能如此成熟了，新闻、影视等作品都有字幕，为什么还要大费周章地开拓手语AI合成主播技能？比较以往的AI合成主播，它的技能到底难在哪？
据天下卫生组织发布的数据，目前环球听力障碍人群高达4.66亿人，在我国则有2700万人。个中，受教诲程度和理解健听人措辞体系越来越高地主要集中在年轻听障人群中，还有不少中老年听障人士在学习上仍有难度。
“我国2700万听障人群的教诲程度是参差不齐的，上了高中、大学的听障人仅占了很小的比例。”陈伟说，从学习角度来看，由于听障人士在听力上天生有障碍，少了一个能更快学习措辞的成分。以是短期内，手语仍是听障人士紧张的学习办法，更是他们紧张的表达办法，难以被字幕所替代。
只管也有一些电视节目能够供应手语讲授，但多以正常语序编排，与手语的分外表达构造不符，让大部分听障人士只能理解不到60%的内容。这就导致了许多听障人士无法常态化、高质量地吸收信息，逐渐变得难以融入社会，终极成为被边缘化群体。
与此同时，当搜狗联合新华社在2020年5月发布环球首个3D AI合成主播后，搜狗AI交互技能团队开始思考，自己在数字人方向上是否还能冲上更高的技能壁垒？同时又能找到有强烈需求的场景？
因此，一群对手语一窍不通的研发团队开始与许多听障人士进行磋商，考试测验挖掘手语AI合成主播这条赛道更大的可能性，并在内部组建了一个除措辞、产品、研发三大体系外的顾问团，包含中国聋人协会的专业人士、手语学校的老师，以及手语AI合成主播的真实用户——听障人士。
但AI合成主播技能深厚如搜狗，在面对手语合成技能这条新赛道上，也面临着不少寻衅。
“我们最开始打仗手语的时候创造，它跟我们之前理解的所有措辞语种都不太一样，他是一个视觉措辞，并不能直接用语音措辞的办法去办理手语的事情。”一位参与研发的团队成员谈到，在手语措辞体系的构建过程中，有三个最紧张的难点：
1、手语语序构造独特，翻译难
手语的语序构造和汉语措辞大有不同，例如汉语中的“猫追老鼠”，在手语表达中为“猫、老鼠、追”；“开车不准饮酒”在手语表达中为“开车、饮酒、不准”。
这些跟汉语语序表达的不同，使得研发团队难以直接采取原有的语料库和数据库进行算法演习。因此，搜狗专门建立了相应的措辞规则考试测验进行“汉语-手语”的语序转换，先将手语进行翻译后再给算法进行演习。
2、词汇类型缺失落，表达差异大
手语的词汇类型并不像汉语那么丰富，并没有量词、程度副词，更多是直接省略或是采取肢体措辞来表达。例如汉语中的“我买两支铅笔、一本书”，在手语表达中为“我买铅笔、二、书、一”；“大雪纷飞”在手语表达中则是表达一个“雪”，然后在雪的根本上加大身体的摆动来表示程度副词。
因此在词汇方面，搜狗AI交互团队还建立了一个手语到汉语之间的映射词典，考试测验去办理手语和汉语之间词汇上的差异问题。
3、特有非手控信息，需建立新表情库
汉语的博大精湛在于，哪怕是同一句话，用不同腔调或语气也能表达出不同信息，这让手语表达的难度系数大大提高。因此手语也有特有的非手控信息，通过不同的表情、口动、身体姿态等办法来传达信息。例如一句“我做的好不好”，皱眉时是讯问的语气，挑眉时则是感叹的语气。
非手控信息也是搜狗AI交互团队在开拓过程中碰着的最大难点，针对这一问题，搜狗目前正考试测验通过建立数据库等规则办法来办理。
三、技能难度系数增大，还需办理胆怯谷难题
值得把稳的是，手语措辞中的三大问题仅仅是措辞体系建立方面的难点，详细落实到技能方面，搜狗也面临着不少寻衅。
一是数据寻衅。陈伟谈到，海内从来没有这样规模化地思考如何构建一个能让AI学习的手语大数据库，无论是数据体系的构建、标注的方法，以及如何找得手语专业老师帮助团队高效地推进研发， 这些对搜狗AI交互团队来说都是一个新的技能寻衅。
二是算法寻衅。无论是机器翻译还是数字人天生，搜狗都要面临更多机器措辞特点的定制。以往搜狗做3D AI合成主播时一贯在强调唇形、表情，但在手语AI合成主播上还需加上嘴形、表情、姿态和手部动作等维度，并担保在同一韶光内完备对齐。
三是3D驱动寻衅。手语表达的分外性须要手语AI合成主播实现连续大幅手部动作的自然天生。基于此，搜狗通过3D建模技能结合AI实时驱动，大大提升手语AI合成主播动作的灵巧性、可控性和连贯度，提升动作表达能力。
“我们也一贯和顾问团保持非常紧密的联系和沟通，对专业人士和听障人士以为手势、位置、运动等不标准的地方进行及时纠正，这样才能确保我们每一步的技能迭代都能时候得到最真实的反馈。”陈伟谈到。
当一个数字人无限靠近真人时，不少细节随意马虎让人感到害怕。例如有人认为，搜狗去年推出的3D数字人张嘴时，看不到声带或咽喉的共振，或是模型偶尔的穿模，这些都随意马虎让人产生恐怖感。但如果将合成主播做成卡通形象，只管能办理胆怯谷问题，但用户和数字人交互的亲切感、体验感也大大降落。
“当我看到一个数字人时没有产生胆怯谷效应，我会以为我和数字人之间时有情绪连接的，互换时就像是面对面的沟通。”陈伟提到，这也是搜狗做数字人的初衷。
为了减少“小聪”的胆怯谷效应，搜狗对“小聪”的皮肤材质、纹理、手势形状等渲染都进行了优化，写实度大大提高。“我们认为在未来一到两年的韶光内，3D建模会打破胆怯谷效应。”陈伟说。
同时在他看来，真正让人以为不胆怯的状态还须要在数字人的表达能力和对话能力上进行打破。“只有数字人或AI越来越像人的时候，人机交互的可能机能力做到真正的自然交互，才能实现人和数字人的情绪连接。”陈伟阐明，这也是搜狗武断不移地把重心放在数字人超写实方面的缘故原由。
四、今年Q4规模运用，手语AI合成主播的两大落地方向
现阶段，“小聪”手语AI合成主播从数据到算法，再到3D建模等工程化技能仍在持续地优化迭代。陈伟估量，到今年第四季度，“小聪”将真正实现规模运用。
在落地方面，“小聪”也将从实时场景和非实时场景两个方向落地。
在实时新闻信息、公共广播信息等实时场景方面，搜狗将考虑人机交互与多模态动作的结合，把手语放到人机交互的环境中，方便听障人士自主地与机器进行互换。
在偏文化娱乐和生活干系等非实时场景中，搜狗也将和更多电视媒体，以及对内容播报有强需求的团队互助，通过“小聪”将视频和笔墨内容视频化，让更多节目都能通过手语的办法进行信息通报，帮助听障人群更好地融入社会生活，同时也减轻传统手语老师的事情压力。
“我们希望通过聚焦数字人技能，让它为社会创造更大的代价。”陈伟谈到，这不仅是嘴形的播报，而是充分把数字人的灵巧性、真实性、自然连贯的性能全部发挥出来，做出高品质且符合国家标准的手语表达技能，真正提高手语的遍及力度和运用范围。
结语：搜狗AI合成主播打开行业创新打破口
作为我国AI合成主播的行业风向标，搜狗一贯不断精进数字人技能，在增加机器的温度，拉近人机之间关系的同时，也帮助传统内容行业提高生产力和创新力。
这次搜狗将分身技能聚焦在更少数的听障人群，去寻衅一个又一个新的技能难关，不仅让我们看到了搜狗攀爬技能壁垒的魄力，也看到了搜狗作为一家企业的社会任务感和担当，也是一次与弱势群体的共情。
大概对更大规模的健听人群来说，“小聪”的出身对自己的生活并没有带来任何改变。但对我国那2700万听障人士而言，这也是他们能拉近与社会的间隔，更轻松、更温暖地感想熏染当下生活，乃至轻松走出国门的主要技能打破。