AniTalker通过一个静态的肖像画和输入音频,天生生动多样的说话面部动画视频。该框架不仅仅着重于嘴唇同步这样的言语线索,而且能够捕捉到面部表情和非言语线索的繁芜动态。
AniTalker能实现的效果包括:
1.面部动画天生:通过输入静态的人像和音频旗子暗记,AniTalker可以天生说话的面部动画。这种动画不仅包括口型同步,还包括与说话内容匹配的面部表情和头部动作。
2.多样化和可控性:集成的扩散模型和方差适配器许可天生具有高度多样性和可控性的动画。这意味着可以根据不同的输入和参数设置,天生各种不同表情和动作的面部动画。
3.真实感和动态表现: AniTalker的动画不仅外不雅观真实,动作流畅,还能很好地捕捉细微的面部动态和繁芜的非言语信息,如眨眼、微笑等。
4.长视频天生: AniTalker 可以天生较长的面部动画视频,演示视频显示,最长可以超过3分钟,适用于多种运用处景,如虚拟助理、数字人物演出等。
项目及演示:https://x-lance.github.io/AniTalker/
论文: https://arxiv.org/abs/2405.03121
GitHub: https://github.com/X-LANCE/AniTalker
#AI开源项目推举##github##AI技能##AI面部视频天生