2024年一开年，社交媒体和朋友圈就被一系列惊艳舞蹈视频盘踞了。钢铁侠跳起了科目三，马斯克也在摆着网红舞步，这些大约10秒的视频都是借助大模型技能制作的，轻松让任何人或角色变成舞蹈达人，掀起了一阵斗舞狂潮。
网友们对付人工智能创尴尬刁难象的一键天生能力感到惊叹，表示AI治愈了自己的四肢不折衷，乃至连考古界都感想熏染到了科目三的风潮。现在，只需一张照片，每个人都能轻松变身为舞蹈大师，不再须要亲自上场舞蹈！
这正是阿里巴巴推出的黑科技——Animate Anyone视频天生模型所做的事情。自去年11月以来，这个让图片动起来的创新工具在Twitter和YouTube上火得一塌糊涂，干系视频的播放量都打破了1亿次，而且在GitHub上的关注度也飙升，超过了1万Star。国外的网友和开拓者对这个技能赞不绝口，都期待着更多的体验机会。
利用Animate Anyone也很大略，通过打开「通义千问」APP，输入"通义舞王"或"全民舞王"，选择喜好的舞蹈模板，并上传一张全身照片，系统就能天生约10秒的舞蹈视频。这项技能能够处理真人、动漫或卡通角色的图片，轻松实现科目三、鬼步舞或兔子舞等盛行舞蹈，并供应了12种热门舞蹈模板供用户选择，让每个人都能成为舞蹈达人，而且完备免费。
以往在视频制作中，让人物动作既流畅又自然一贯是个难题，但阿里的Animate Anyone技能却做到了。它不仅能精确捕捉角色的每个细节，比如面部表情和服装纹理，而且让动画中的角色动作平滑自然，看起来和原图一样逼真。这在视频天生领域，尤其是在处理人物动作上，无疑是AI动画的一个重大打破。
Animate Anyone制作图像动画是如何实现的？
在视频天生这个大模型领域的热点中，谷歌、Meta和Runway等大牌也在搅动水花。但要说难点，便是让视频里的人物动作既真实又流畅，一贯是个技能大关。
以前的技能，比如基于GAN的方法，虽然也能让图片动起来，但常常会涌现一些问题，像是图片的某部分变得扭曲或者模糊，或者动画的每一帧之间看起来不足连贯。这就彷佛是你看一部电影，创造里面的人物忽然变形了，或者画面溘然跳跃，觉得就很奇怪。
而这次，阿里的研究团队提出了一种办理方案，便是Animate Anyone。这个技能能把任何角色的图片转化成一段遵照特定姿势序列的动画视频。他们利用了Diffusion的网络设计，这个网络能处理多帧输入，也便是说，它能同时考虑到视频中的多个画面。
据阿里公开论文透露，Animate Anyone领悟了多项创新技能，个中包括引入的ReferenceNet，这个网络专注于捕捉并保留原始图像信息，能够精准还原人物的外不雅观、表情和服装细节。其余，它还利用了高效的Pose Guider姿态勾引器，确保动作的精确度和可控性；同时，通过其时间序列天生模块，有效地确保视频帧之间的流畅连贯。
感兴趣的朋友，还可以前往理解体验更多。
项目地址:https://humanaigc.github.io/outfit-anyone/
体验地址:https://huggingface.co/spaces/HumanAIGC/OutfitAnyone
Animate Anyone 框架
这项技能经由超过5000个角色视频剪辑的数据集演习，效果自然逼真，能够保持视频中人物的外不雅观和动作的韶光同等性，天生无抖动或闪烁的高清视频。在性能测试中，Animate Anyone在时尚视频合成和人类舞蹈天生方面表现优于其他模型，无需额外人体掩码学习，这也展示了其强大的前景和背景关系理解能力及动作的视觉连贯性。
为了展示这种差异，我们以一张静态照片为例。
从直不雅观感想熏染来看，DreamPose 和 BDMM 在保持服装纹理细节方面有所欠缺，动作的连贯性和闪烁问题较为明显。比较之下，Animate Anyone则表现得像真人模特般自然流畅，衣服的纹理保持得很好，乃至连腿部衣裙的开衩都处理得非常精准，细节展现得更为到位。
Animate Anyone有哪些实际运用代价？
Animate Anyone技能，推动的不仅是人工智能研究领域的进步，而是超过了各个行业的界线，从在线零售到娱乐视频制作，再到艺术创作和虚拟角色开拓，它为各种运用处景供应了新的可能性。
该团队推出的虚拟试衣间Outfit Anyone便是一个例证，当搭配上Animate Anyone，这款虚拟试衣间技能不仅使得个性化服装搭配变得轻而易举，这也意味着无论你是谁，无论你喜好的风格如何，都可以找到适宜你的虚拟试穿体验。而且它还能适应各种体型，从健身型到曲线型，乃至是娇小型，让每个人都能在这个虚拟试衣间找到适宜自己的特色风格。
此外，结合Animate Anyone技能，AI动漫人物绘画天生的门槛被大大降落，让普通人也能轻松创作出多样化的动漫角色。用户可以根据自己的偏好，自由搭配角色的面部、服装、配饰和背景，创造出具有个性和魅力的二次元角色。
以及，随着数字人技能的发展和本钱的降落，Animate Anyone技能也在虚拟数字人的领域中大放异彩，从新闻播报到客服、讲解等领域的运用不断拓展，估量到2026年，中国虚拟数字人市场规模将达到102.4亿元。用户可以通过定制功能，创建符合自己需求的数字化身，进一步推动数字人在更广阔领域的运用。
过去一年，AI技能犹如超速列车，从笔墨和代码创作，到电影级高清制作，再到如今的视频天生，AI不仅仅是技能界的多面手，更是变革的先锋。
在这场技能浪潮中，视频天生技能尤其引人瞩目，从Runway的Gen-2模型到Meta的Emu Video，再到Stability AI的Stable Video Diffusion，每一步进展都是界线的拓宽，海内的字节和华为也展现出中国科技的创新实力，纷纭推出引人瞩目的运用，不断拓宽行业界线。
阿里在这场竞赛中同样表现出色，将Animate Anyone整合进通义千问APP，使舞蹈视频合成变得触手可及。这不仅代表了技能上的打破，更预示着生活办法的转变。随着AI的不断进步，我们正迎来一个新时期，见证天生式AI如何改变我们的事情和创造办法。阿里无疑将连续在这场技能变革中发挥主要浸染。