该功能可运用于视频直播、谈天机器人、企业营销等场景。
目前,该工具已在魔搭社区创空间开放体验。

自对话大模型和AI绘画模型相继火热后,业界对天生式AI的研究逐步朝更多模态的方向演进,AI视频天生便是热门技能之一。
该技能可将文本或音频等信息转换为面部运动信息,进而驱动天生照片人物形象的动画,能有效降落视频拍摄和制作门槛。

这次上线的Live Portait工具由运动模块和天生模块组成,其采取阿里云自研的口型预测算法,天生的口型准确度比较传统方法大幅提高;在演习阶段,增加了姿态的显式掌握,无需底板视频也可以天生任意动作的视频,大幅提升数字人说话的真实感。

此外,通过眼神主动掌握技能,Live Portait可以为眼球增加一些自然运动,使得天生结果在不雅观感上更靠近真人效果。
据先容,Live Portait干系技能已被CVPR、ICCV等国际AI顶会收录。

阿里云上线AI视频生成对象Live Portait可一键让照片开口措辞

根据魔搭社区上的信息显示,在Live Portait上传照片后,用户可选择文本驱动和音频驱动两种办法,文本驱动模式下,该工具供应了普通话、英语、粤语、童声等28种声音。
此外,Live Portait还供应了轻量模型选择,帮助用户更快速天生视频。

该工具算法卖力人张邦表示:“ Live Portait集成了团队多项自研创新技能,例如仅需单张图片就能天生逼真的面部动画,打破了传统对抗天生网络的局限。
随着技能的进一步迭代,图生视频有巨大的运用空间,有望成为企业降本增效的生产工具。

据悉,该团队研究方向涵盖数字人、3D模型AI天生、高真实感渲染、自然人机交互等领域,目前已揭橥50多篇国际顶会论文。