数字化身的低本钱实时驱动成为一大寻衅
游戏开拓商 Epic Games 的首席实行官 Tim Sweeney 曾提到，“元宇宙将是一种前所未有的大规模参与式媒介，所有用户都可以参与、创造、分享并从中获利，而用户的虚拟数字化身（Avatar）可以自由地在不同平台之间穿梭”。随着 AI 算力和打算机图形渲染技能的发达发展，人类对付自由地在不同数字平台中穿梭，并随时进入虚拟天下的数字化身 Avatar 提出了更高的哀求：如何轻便快捷地让数字化身真实地表达人类的动作意愿与情绪，并将人类的动作实时迁移至虚拟化身上，成为关键性寻衅之一，细分为以下几个详细的问题：
繁芜的技能流程
从面部表情、手指动作到肢体动作，每个模块每每由不同的技能方案构成，数据的同步性与流程的一体化构建面临巨大的技能投入和人力本钱寻衅。
高昂的捕捉本钱
体验与本钱不可兼得，市情上效果较为一样平常的半身视觉动捕无法知足 Avatar 的技能哀求，而较为精准的光学捕捉与惯性捕捉，动辄数十万的投入又使得 Avatar 本钱居高不下。较高的本钱让普通民众无法参与数字内容体系的培植，也无法享受技能时期带来的新体验。
割裂的数字孤岛
虚拟化身的骨骼标准难以统一，不同的制作软件、绑定系统和图形渲染引擎会形成割裂的多个数字孤岛，因此不仅每次虚拟化身穿梭到不同平台带来的资产迁移本钱很高，而且难以形成一个整体性的虚拟化出生界。
糟糕的捕捉体验
身上穿着着繁芜且繁重的动作捕捉传感器，使得数字化身的利用体检较为糟糕，永劫光穿着带来的不适感与怠倦感也让元宇宙成为了难以进入的宇宙。
NVIDIA GPU 助力 Cyanpuppets打造 AI 驱动模型赋能 Avatar 发展
基于以上问题，Cyanpuppets 选择了 NVIDIA 平台多个产品供应支持，在多张 NVIDIA GeForce RTX 3080Ti 的算力支持下，参考主流 AI 框架 TensorFlow、PyTorch、Caffe 等，对 COCO、ORGBD 等数据集进行长期演习。硬件终端上采取 GeForce RTX 3060 /3070/3080 等系列硬件给软件系统带来了稳定性保障和流畅体验感。同时，利用 Deep Learning Super Sampling（DLSS）这项 AI 深度学习技能，为用户供应极致的画面渲染效果。
在 NVIDIA GPU赋能下，CYAN.AI 以 CNN 和 DNN 为底层核心演习了近万小时的数据集，在同步的 2D 视频流中提取人体动作的关键特色做人体姿态识别，追踪人体超过 208 个关键点，结合动力学、生物力学天生人体运动的建模算法，一体化完成面部、表情与肢体共 208 点无穿着、无标记的高精度捕捉。
CYAN.AI 构建了一个全新的骨骼系统，通过合成数据算法对主流的 Unreal Skeleton Asset、Daz、CC、Unity avatar 和 metahuman 的模型骨骼系统进行匹配映射，让虚拟化身的全身驱动不再是一个个割裂的数字孤岛。
在硬件优化环节，通过对 NVIDIA GPU 算力进行分布式的算力调配，仅需本钱数百元的 RGB 摄像头就能获取视频流，进行插值异构即可实现更低延迟的数据信息吞吐与数据画面合成。
结合 NVIDIA GPU 算力支持，算法模型以低至 0.1s 的延迟实现了超低延时的视觉动作捕捉，同时赞助动捕特色平滑算法、图像识别多目协同算法、空间检测、定位算法和重定向算法等多种算法，纵然在繁芜、狭小且充满滋扰物的利用环境中，CYAN.AI 依然可以稳定、高效、高精度地动作捕捉迁移。
“AIGC 行业是当前最受关注的人工智能领域之一，算力与算法带来的生产力提升，让每个个体都切实感想熏染到新时期的来临。传统的行业纷纭拥抱 AI 天生科技进行家当升级，从笔墨天生图片，图片天生视频再到视频天生 3D，这是一个长久进化的趋势，Cyanpuppets 正处于 2D 天生 3D 的关键环节。NVIDIA 供应的 GPU 办理方案，办理了深度学习和机器学习的技能难题，使得我们可以持续不断地创新算法模型，拓宽运用处景，并通过 CYAN.AI 平台为环球不同行业、不同场景的用户搭建虚拟现实协作的桥梁、虚拟化身的实时驱动方案。” 青色木偶科技 Cyanpuppets CEO 李宗兴表示。