张亚勤院士的数字人（采取MyTwins.ai数字分身技能天生） 图片来源：MyTwins.ai
本次公开课导师包括图灵奖得主John E. Hopcroft，中国工程院院士、清华大学智能家当研究院（AIR）院长张亚勤，浙江大学人工智能研究所所长吴飞，复旦大学打算机学院教授黄萱菁，阿里云高校互助部卖力人李贝，向不雅观众展示了教诲领域可以用老师的数字分身来给学生讲课。
作为数字分身直播产品的供应方，MyTwins.ai在年初与淘宝有名头部主播陈洁Kiki互助后，持续进行了一系列技能迭代，现阶段已经能够让数字分身以不同的体态、表情、拍摄角度“出镜”，适应更多视频及直播环境。
数字人直播带货的观点在近年来逐渐火爆，成为电商竞争新赛道的同时，也掀起了数字人技能新一轮的发展浪潮。而在AI技能的支持下，数字人主播以其低本钱的上风，吸引了大量的关注。
图片来源：MyTwins.ai
早期很多数字人产品，只能让数字人保持单一体态，根据口播内容做一些大略的口型变革和上肢动作。MyTwins.ai干系卖力人见告36氪，早期数字人受限技能而无法做到声音与口型同步，比如发“阿”的声音，嘴巴该当是张大的，数字人的嘴巴却是闭着的。
“后来我们采取3D Flame技能对人脸建模，通过声音驱动3D几何表征形变，再利用3D Gaussian进行渲染。在口型、表情、姿态的精准度上，远远高于传统的纯2D技能路线所展现的效果。”
此外，为了让用户快速拿到天生好的数字分身，降落产品的利用门槛，MyTwins.ai研发了一套通用模型。
该通用模型由两个模块构成：基于VAE的Audio2Motion（声音到3D几何驱动）算法，在3D几何空间上实现对口型、表情的驱动；3D->2D的人脸天生算法，渲染出高清晰度、口型贴合的数字人。
以前须要2-3分钟的视频素材，花费数小时的韶光演习数字人；在技能组合迭代后，MyTwins.ai已实现用30秒的视频素材进行小样本微调，演习韶光缩短到5分钟，有效提升了效率。
举例而言，在这次的「AI第一课」中，John E. Hopcroft数字分身建模的原视频便只有30秒，且在原视频清晰度较低的情形下，数字人精准还原了“表情、口型”等面部微变革。
当然，数字分身若想适应更多场景，还有很长的路要走。对付MyTwins.ai而言，现阶段直播带货依然是团队主攻的研发方向之一。
为了能够帮商家直播卖货做成交，MyTwins.ai自研了一整套直播行业AI办理方案，特殊是针对直播行业的主播大措辞模型。
对付很多商家——尤其是没做过直播电商的商家来说，从零搭建直播团队的本钱和风险都不小。如果初期效果差，职员人为便是一笔不小的固定支出；效果好了，如果主播团队选择跳槽，那商家便又要从头开始。
MyTwins.ai基于多年在直播领域的数据积累，研发了直播行业主播大措辞模型。商家只要输入“商品名称、卖点”即可用头部主播的讲品方法论，由AI自动撰写头部主播风格的商品卖货讲稿，还能在直播间实时回答用户的问题，促进成交转化。
“从海量的直播数据中，我们构建了优质的直播行业数据集，微调开源LLM，并从讲品风格、场景营造、深挖卖点、勾引消费等维度，让模型学习到头部主播带货的讲品精髓。”MyTwins.ai干系卖力人表示。
艾媒咨询数据显示，2023年中国数字人带动的家当市场规模和核心市场规模分别为3334.7亿元和205.2亿元，估量2025年将分别达到6402.7亿元和480.6亿元。随着数字人家当的不断成熟，对付商家来说，数字人直播将有机会成为卖货的核心渠道。