从各大直播间的虚拟人,到双十一时各种大大小小的元宇宙空间,自元宇宙兴起时,淘宝就一贯在入局元宇宙的边缘猖獗试探。
虽然如今复盘,在浩瀚大平台中淘宝并不是元宇宙声量最大的那个,但在元宇宙浪潮消退后,淘宝人生这个一贯不温不火的虚拟分身板块却成为了为数不多坚持到如今的元宇宙阵地。
而随着这个出身于2019年的运用借助AIGC的兴起迭代到2.0版本,关于AI虚拟人可能存在的另一条发展路径,也在淘宝的探索下变得越来越清晰。
在同行夹击下依旧在“不务正业”的淘宝,搞AI虚拟人的目的究竟是什么?
1 迭代中提高,稳稳的幸福
自2019年中上线以来,淘宝人生先后推出了两个版本,淘宝人生1和淘宝人生2。
淘宝人生2作为淘宝人生1的延续,比较于之前的卡通风格更倾向于超写实风格,同时淘宝人生2也是市情上少有的将超写实风格落地到移动真个装扮类运用,这与市情上QQ秀等同类产品从2D到3D的发展路径一模一样。
虽然在主流视野中淘宝人生的存在感一贯有限,但依托淘宝4亿用户的淘宝人生依旧是目前海内用户规模较大的虚拟人装扮类运用,环绕淘宝人生已形成了具有一定规模的生动圈层:
淘宝人生的微博超话目前有3.9万粉丝,干系话题在小红书上的浏览量也达到近1500万,许多网民自发分享着自己在淘宝人生中关于穿搭、关于捏脸的心得体会;官方在不同社交媒体上的账号也在定期更新着上新公告与版本先容等内容。
同时作为一款内置在淘宝中最初为用户供应虚拟分身的运用,淘宝人生经由多年的发展已经在捏脸、换装的根本上衍生出许多其他功能。个中与AI强干系的首先虚拟人NPC等功能,内置的“涂山赫言”“海梦学姐”等虚拟人NPC,前者可以为用户打算逐日运势,后者可以进行日常互换。
同时基于淘宝作为购物平台的特点,淘宝人生还供应了许多基于购物的AI干系的玩法:
比如购买淘宝实体服装后,可以为用户天生一套该样式的虚拟衣饰资产并穿搭到自己捏好的虚拟形象中;照片风格化可以将捏好的形象二次创作,实现类似妙鸭相机的功能;此外,用户也可以通过AI衣饰涂鸦的办法低廉甜头服装。
随着一步步探索淘宝人生背后运用的AI技能,关于“不务正业”的淘宝在元宇宙领域的野心,也变得越来越清晰。
2 AI衣饰涂鸦,方向对了
在淘宝人生的诸多AI功能中,最能引起元宇宙新声好奇的便是AI衣饰涂鸦功能。
这项功能许可用户通过自由涂鸦或输入文本描述,在选定的底图上创作衣饰,随后利用AIGC算法技能转化为高质量的图像,实现用户创意的可视化——可以说确确实实知足了一把为虚拟分身穿上心仪衣饰的瘾。
作为当前虚拟人领域较为少见的定制化功能,AI衣饰涂鸦背后依托的是一系列前辈技能,包括Stable Diffusion、ControlNet和LoRA等。
Stable Diffusion技能通过变分自编码器和扩散模型结合,基于文本描述天生高质量图像,为AI衣饰涂鸦供应了强大的图像天生能力。ControlNet技能进一步增强了图像天生的精确性,许可更细致地掌握天生图像的构造和布局,确保用户涂鸦的细节得以精准呈现。LoRA技能则通过对模型进行微调,优化了特定风格化任务的处理效率,减少了对算力和数据的需求。
此外,AI衣饰涂鸦项目采取了基于diffusers库的SD生图框架,提高了图像天生的效率,并通过模型管理和做事支配的优化,供应了稳定高效的在线做事体验。中央化的要求做事器策略优化了负载均衡,确保了做事的快速相应和稳定性。
通过这些关键技能的集成和优化,AI衣饰涂鸦功能可以在担保用户创作出高质量且具有个性化的衣饰图像的同时,确保用户体验的稳定性和高效性。正是这一功能,在最初引起了元宇宙新声对付淘宝人生的关注。
而除了AI衣饰涂鸦这一功能外,在传统的捏脸与换装领域,AI对淘宝人生的参与同样越来越深入。
作为险些所有元宇宙运用都躲不开的功能,捏脸功能的质量决定了运用能否在第一时候就吸引用户——在淘宝人生,用户可以通过上传一张照片快速天生专属于自己的3D数字人形象。
在预处理阶段,系统首先确保上传的图片符合哀求,打消不合格和敏感内容。接着,通过五官关键点检测为后续的3D建模供应必要的数据支持。利用3D Morphable Model(3DMM)技能,将2D照片中的人脸特色转换到3D模型上,这一步骤不仅重修了用户的3D人脸,还能将真实人脸特色迁移到淘宝人生2的3D卡通形象上,实现风格化同时保留用户的独特特色。
此外,非面部属性模块通过细粒度分类,如眼镜、发型和眉型,进一步提高个性化和整体相似度。末了,所有这些数据和素材ID结合起来,通过渲染引擎天生终极的3D数字人形象。
为了评估技能成果,淘宝人生采取了Normal Mean Error(NME)指标并结合主不雅观评价进行打分,以此衡量3D数字人形象与原始图片的相似度。
如何将真实人脸特色与风格化3D模型领悟的问题,一贯是虚拟人捏脸领域的寻衅,但淘宝人生通过采取3DMM和图形学变形技能以及MLP映射模型,让这一难题得到了一定办理。
而在去年妙鸭相机掀起一波AI写真热潮后,淘宝人生也开始在干系功能上精进:
在当前,AI写真紧张依赖两种策略:一是基于角色的LoRA演习,通过网络和演习定制人物的大量图像来表达角色身份;二是基于图像特色的注入,这种方法可以避免繁芜的演习过程,快速天生所需图像,适宜迅速得到结果的运用处景。
而淘宝人生的AI写真算法履行过程分为三个核心步骤。首先,图像预处理阶段包括美肤和人脸增强处理,以及对人脸和头发区域的分割和裁剪,为图像天生做好准备。
接下来,在图像天生模型阶段,通过LoRA演习和图像特色的注入掌握天生图像的身份信息,特殊是改进的参考图注入技能,优化了天生过程,确保了图像质量和身份同等性。
末了,在模型后处理阶段,从天生的图像中筛选出质量最高的图片,并利用人脸领悟算法和图像超分辨率技能进一步优化结果,担保了终极图像的高质量和身份同等性。
目前淘宝人生已构建起约50种不同风格的模板库和LoRA模型库,利用户能够根据分外节日或活动选择独特风格。
剖析到这里实在不丢脸出,随着元宇宙与AI技能进步与运用遍及,过去困扰个人虚拟人发展的各类寻衅,如用户接管度、社交互动的真实感以及对付个性化、多样性的需求等正逐步得到办理。
从AI衣饰涂鸦再到AI捏脸与AI写真,依托平台上风,淘宝人生已经为虚拟人的发展做出了许多具有现实意义的探索。
3 淘宝人生虽强,但社交之路漫长
在迭代到2.0版本后,淘宝人生的超写实风格设计,提高虚拟形象的逼真度的同时增强了用户在社交互动中的情绪共鸣。此外虚拟衣饰资产生成、AI NPC互动等功能的加入也增加了用户间的互动性和意见意义性,进一步提升了用户在与虚拟人社交互动时的真实感。
淘宝人生在个性化和多样性方面做出的考试测验,可以说对当下虚拟人的发展最具有借鉴意义:
通过AI涂鸦等功能,用户就可以高度定制化自己的虚拟形象;同时将真实商品的虚拟版本融入虚拟形象中的设定,更是让淘宝人生在虚拟与现实两个维度实现了交融。
可以说这是目前淘宝人生虚拟人最大的上风,亦是其他个人虚拟人平台最大的短板。而虚实交融间,隐蔽在淘宝人生之下淘宝对付社交的野心已经无需多言。
不过淘宝人生虽在个人虚拟人发展领域已经算是精良的存在,但间隔可以引领淘宝转型社交还有很长的路要走。
近年来,淘宝一贯想努力打破其作为购物平台的角色,向更加丰富的社交和娱乐功能扩展——毕竟即便是极为成功的购物App,也难以确保消费者的逐日访问,但增加游戏和社交功能能有效提高用户生动度和对平台的依赖。
从每年双11的好友PK到曾经风靡一时的“叠猫猫”活动,再到更早之前引进旅行田鸡的海内版本,淘宝一贯想通过团队互助和游戏化设定,提高用户间的社交联系和对平台的忠实。
但在被某多多和某东前后夹击确当下,淘宝真的是由于社交属性的匮乏才缺少逆转场合排场之力的吗?
与此同时,在SOUL等供应类似功能的运用热度逐渐消退后,淘宝人生自身能在多大程度上保持现状,担保平台具有一定活力也是一个不得不面临的问题。
虽然官方并没有表露淘宝人生较新的日活数据,但目前已经形成的稳定圈层,不论在影响力还是有名度上,较之淘宝弘大的用户数量难免不免还是有些太小。
不过好是,在淘宝人生社交平台官方账号的评论区许多用户都在积极与官方互换,表达想法、通报见地,这样一个已经形成的稳定圈层便是淘宝连续耕耘社交领域的底气。
同时,已经在AI虚拟人领域做出大量技能探索的淘宝人生只要可以保持迭代,对元宇宙可能迎来的复兴,就也是一个不错的。