即给定一个参考图像,MIMO能够通过几分钟的推理天生可动画的虚拟形象。

该项目由阿里巴巴集团智能打算研究院开拓。
MIMO项目的核心目的是通过用户供应的大略输入(如图片、动作序列或视频)来天生具有掌握性的角色视频。
这意味着,用户可以通过一个参考图像(比如某个人物的照片),结合动作序列或场景描述,天生一个能够进行动画的虚拟角色,并且这个角色可以表现出用户定义的动作和场景互动。

该模型打破了传统3D角色视频天生方法的局限,不须要多视角拍摄或针对每个角色单独演习。
通过结合2D视频信息和3D空间建模,MIMO 可以高效地天生角色动画,并支持在真实天下的繁芜场景中与物体进行交互。

项目及演示:https://menyifang.github.io/projects/MIMO/index.html

MIMO给定参考图像或视频即可生成可控制动作和场景的动画人物

论文:https://arxiv.org/pdf/2409.16160

GitHub开源地址:https://github.com/menyifang/MIMO