ChatGPT给AI行业注入一剂鸡血，统统曾经的不敢想，都成为如今的基操。
正持续攻击的Text-to-3D，就被视为继Diffusion（图像）和GPT（笔墨）后，AIGC领域的下一个前沿热点，得到了前所未有的关注度。
这不，一款名为ChatAvatar的产品低调公测，火速收揽超70万浏览与关注，并登上抱抱脸周热门（Spaces of the week）。
△ChatAvatar也将支持从AI天生的单视角/多视角原画天生3D风格化角色的Image to 3D技能，受到了广泛关注
现行beta版本天生的3D模型，能够直接连同PBR材质下载到本地。不仅效果不错，更主要的是免费可玩。有网友惊呼：
有够酷的，觉得能很便捷地天生自己的数字孪生了。
由此吸引不少网友纷纭试用并贡献脑洞。有人拿这款产品和ControlNet结合，创造效果细腻写实到有些出乎猜想。
这款利用起来险些零门槛的Text-to-3D工具名叫ChatAvatar，由海内AI初创公司影眸科技团队打造。
据理解，这是环球首款Production-Ready的Text to 3D产品，通过大略的文本，例如一个明星的名字、或是某个想要的人物长相，就能天生影视级的3D超写实数字人资产。
效率也非常高，均匀仅需30秒，就能做出一张以假乱真的脸——乃至是你自己的。
未来，天生领域还将拓展到其他三维资产。
并且该模型带有规整的拓扑、带有4k分辨率的PBR材质，同时带有绑定，可以直接接入Unity、Unreal Engine和Maya等制作引擎的生产管线中。
以是，ChatAvatar到底是若何一个3D天生工具？背后究竟用到了什么技能？
30秒完成一次“画皮”亲自体验ChatAvatar的玩法创造，可以说是真·零门槛。
详细而言，只需以对话的形式，在官网上用大口语向ChatBot描述自己的需求，就能按需天生3D人脸，并覆盖一张贴合模型的真实“人皮”。
对话全流程里，根据用户需求，ChatBot会进行勾引，尽可能细节地理解用户对所需模型的想法。
体验过程中，我们向ChatBot描述了这样一个想要天生的3D形象：
点击左侧的Generate按钮，均匀10s不到，屏幕上就涌现根据描述天生的9种不同3D人脸的初始雏形。
随意选择个中一种后，会基于选择连续优化模型和材质，末了涌现覆盖皮肤后的模型渲结果，并展现不同光影下的渲染效果——这些渲染在浏览器内实时完成：
用鼠标拖动，还能旋转头部，并放大看更细节的局部效果，毛孔和痘痘都清晰可见：
值得一提的是，如果用户是个提示工程高手，直接在左侧框中输入prompt，同样可以完成天生。
末了，一键下载，就能得到一个可直接接入制作引擎并被驱动的3D数字头部资产：
虽然beta版本还没上线发型功能，但整体而言，末了天生的3D数字人资产与描述内容已经有高匹配度。
官网上还陈设了许多ChatAvatar用户的天生资产，不同人种、不同肤色、不同年事，喜怒哀乐，妍媸胖瘦，各式容貌搜罗万象。
总结一下ChatAvatar这款产品天生3D数字人资产的效果亮点：
首先是利用简便；其次是天生跨度大，且五官可改，还能天生与面部贴合的面具、纹身等，譬如这样：
根据官方宣扬片先容，ChatAvatar乃至可以进一步天生超出人类范畴的角色，如阿凡达等影视作品中的角色：
最主要的是，ChatAvatar办理了3D模型与传统渲染软件存在的兼容性问题。
这意味着，ChatAvatar天生的3D资产可以直接接入游戏和影视生产流程。
当然，在正式接入工业流程之前，首轮公测，ChatAvatar已经吸引了数千名艺术家和专业美术职员参与，推特干系话题受到近百万的浏览与关注。
随随便便一条推文，浏览量都能破50k。
积攒了大批“自来水”不是没有缘故原由，看看3D的爱因斯坦之脸，试问谁不说一句真的很像？
假如和ControlNet结合，天生效果不亚于单反相片直出：
已经有不少用户体验后，开始畅想将这个Text-to-3D工具大规模运用在游戏、影视等工业运用上了。
据理解，用户反馈会成为ChatAvatar团队快速迭代和更新的主要依据，形成数据飞轮，以便及时供应更加完全和贴近需求的功能。
事实上，对付此前的3D行业设计师或公司来说，大部分AI笔墨转3D运用并非效果不好，但实际落地到工业设计流程上，还是有不少难度。
这次ChatAvatar能如此出圈，背后究竟有什么技能上的缘故原由？
符合家当哀求的3D资产生成，究竟难在哪？都说AI要替代人类，事实上仅仅就Text-to-3D领域，就并非那么随意马虎替代。
最大的难点，在于让AI天生的东西从标准上符合家当对3D资产的哀求。
这里面的家当标准怎么理解？从专业3D美工设计的视角来说，至少有三个方面——
质量、可控性和天生速率。
首先是质量。尤其是对付强调视觉效果的影视、游戏行业来说，要想天生符合管线哀求的3D资产，拓扑规整度、纹理贴图的精度等“行业潜规则”，都是AI产品第一道必须迈过去的坎。
以拓扑构造的规整度为例，这里实质上指的是3D资产布线的合理度。
对付3D资产来说，拓扑的规整度，每每直接影响物体的动画效果、修正处理效率和贴图绘制速率：
据行内3D美工设计先容，手工重拓扑的韶光本钱每每比制作3D模型本身更高，乃至按倍数以计。这意味着纵然AI模型天生的3D资产再炫酷，如果天生的拓扑规整度达不到哀求，本钱就无法从根本上得到降落。更别提纹理精度。
△影眸科技的ChatAvatar项目在天生质量、速率以及标准兼容上比较先前的事情都有明显的提升
以目前游戏、影视行业普遍哀求的PBR贴图为例，包含的反射率贴图、法线贴图等一系列贴图，相称于2D图像PSD文件的“图层”，是3D资产流水线生产必不可少的条件之一。
然而，目前AI天生的3D资产每每是一个“整体”，少有能按哀求单独天生符合家当环境的PBR贴图的效果。
其次是可控性，对付天生式AI而言，如何让天生的内容更加“可控”，是CG家当对付这项技能提出的又一大哀求。
以大众所熟知的2D家当为例，在ControlNet涌现之前，2D AIGC行业一贯处在一种“半摸黑提高”的状态。
也便是说，AI能天生指定类别的物体画面，却无法天生指定姿态的物体，天生效果全靠提示工程和“玄学”。
而在ControlNet涌现后，2D AI图像天生的可控性得到了突飞年夜进的提升，然而对付3D AI而言，要想天生对应效果的资产，很大程度上依旧得依赖专业的提示工程。
末了是天生速率。比较3D美工设计而言，AI天生的上风在于速率，然而如果AI渲染的速率和效果无法与人工匹敌的话，那么这项技能依旧无法给家当带来收益。
以当前在AI技能上颇受欢迎的NeRF为例，其家当化落地就面临速率和质量的兼容性难题。
在天生质量较高的情形下，基于NeRF的3D天生每每须要相称漫长的韶光；然而如果追求速率，纵然是NeRF天生的3D资产便完备无法投入家当利用。
但纵然办理了这个问题，如何在不丢失精度的条件下让NeRF与传统CG行业的主流引擎兼容仍旧是一个巨大的问题。
从上面的家当标准化流程不难创造，大部分AI文本转3D运用落地存在两大瓶颈：
一个是须要手动完成提示工程，对付非AI专业人士、或不理解AI的设计师来说不足友好；另一个是天生的3D资产每每不符合家当标准，纵然再好看也无法投入利用。
针对这两点，ChatAvatar给出了两点详细有效的办理方案。
一方面，ChatAvatar实现了除手动输入提示工程外的第二条道路，也是更适宜普通人的一条捷径：通过“甲方模式”直接对话描述需求。
团队官方推特先容称，为了实现这一特性，ChatAvatar基于GPT的能力，开拓了一种对话描述转人像特色的方法。
设计师只须要不断和GPT谈天，描述自己想要的“觉得”：
GPT就能自动帮忙完成提示工程，将结果运送给AI：
换而言之，如果说ControlNet是2D行业的“Game Changer”，那么对付3D家当来说，能实现文本转3D的ChatAvatar，无异于行业的游戏规则改变者。
另一方面更为主要，那便是ChatAvatar能完美兼容CG管线，即天生的资产在拓扑构造、可控性和速率上都符合家当哀求。
这不仅意味着天生3D资产之后，下载的内容可以直接导入各种后期制作软件进行二次编辑，可控性更强；
同时，天生的模型和高精度材质贴图，还能在后期的渲染中达到极为逼真的渲染效果。
为了实现这样的效果，团队为ChatAvatar自研了一个渐进式3D天生框架DreamFace。
个中的关键，在于演习该模型用的底层数据，即影眸科技基于“穹顶光场”采集到的天下首个大体量、高精度、多表情的人脸高精度数据集。
基于这个数据集，DreamFace可以高效地完成产品级三维资产的天生，即天生的资产带有规整的拓扑、材质，带有绑定。
DreamFace紧张包括三个模块：几何体天生，基于物理的材质扩散和动画能力天生。
△天生的资产驱动渲染的效果
通过引入外部3D数据库，DreamFace能够直接输出符合CG流程的资产。
上述两大技能瓶颈的办理，实质上进一步加速了AIGC年夜水下，“天生”将取代“搜索”的时期趋势——
影眸团队认为，“天生”将成为新一代数字资产的获取办法。
此前，我们须要找到一张符合需求的图片或者资产时，常日会利用搜索引擎进行查询。
ChatAvatar项目主页上展示的巨大的“搜索框”和整洁的资产卡片，看似搜索引擎，但实际上是一种与搜索截然不同的资产查找办法。
△ChatAvatar项目主页
影眸科技CTO张启煊对此先容：
以前，如果我们须要一张插图，可能要在多个图库中反复搜索，或是通过Photoshop合成、手绘等较繁芜的办法才能得到结果。但在Stable Diffusion等技能涌现后，你只须要通过笔墨描述想要的图像，就能直接天生符合需求的结果。
这对付传统的资产库来说是一个巨大的冲击。而ChatAvatar的目标，正是用3D天生替代传统的搜索式3D资产库。
AIGC领域的下一个前沿热点ChatGPT一石激起千层浪，进入AI 2.0时期之后，人们的目光也投向包含图像、视频、3D等信息的多模态AI。
仅就3D天生领域而言，无论是影视还是游戏行业，3D内容生产和消费市场已经拥有足够大的规模，但在制作层面却因技能难度遭遇掣肘。
譬如，文本领域大行其道的Transformer，在3D天生领域的利用还相对有限。
去年夏天，当文生图领域因Diffusion Model取得成绩后，人们开始期待笔墨天生3D有同样惊艳的表现。一旦天生式AI的3D创作技能成熟，VR、视频等的内容创作都将起飞。
△扩散模型Midjourney5.1天生的“梵高风拍照”
事实上，无论是科技巨子还是初创公司，的确都在朝Text-to-3D这个方向暗暗发力。
去年9月，谷歌发布了基于文本提示天生3D模型的FreamFusion，声称不须要3D演习数据，也不须要修正图像扩散模型。紧随其后，Meta也推出可以从文本一键天生视频的Make-A-Video模型。
后来的Text-to-3D的AI模型军队中，还先后涌现了英伟达Magic3D、OpenAI最新开源项目Shap-E等，今年8月将举办的打算机图形顶会SIGGRAPH 2023所展示的论文，也有多篇与Text-to-3D有关。
影眸科技有关文本辅导的渐进式3D天生框架DreamFace的论文，便是个中之一。
而ChatAvatar，也是目前为止最集中在3D数字人资产方向的天生式模型产品。
其背后的AI初创公司影眸科技，2020年孵化自上海科技大学MARS实验室，成立后得到奇绩创坛与红杉种子的两轮投资。
公司专注于专注于打算机图形学、天生式AI的研究与产品化。2021年，AIGC还未掀起巨浪之时，公司就已经推出海内首个AIGC ToC绘画运用Wand，产品一度登顶AppStore分区榜首。
而这个颇具前瞻性，且已在业内小有名气的团队，均匀年事只有25岁。
将首个商业化场景详细锚定在数字人后，ChatAvatar是他们乘AIGC东风在该方向的最新进展。
作为一个新推出的产品，ChatAvatar在兼容性、完成度和精度等产品效果层面，都超出了影眸团队预期。然而在吴迪口中，行至此处的过程“很狼狈”。
紧张缘故原由不外乎“缺人”一事。目前，影眸已经在多种别3D天生技能上取得了进展，下一步还操持推出“3D天生大模型”。
△影眸科技将于5月上线首个多模态跨平台3D搜索引擎Rodin，打通Sketchfab等多个3D资产平台，支持以文搜3D、以图搜3D乃至以3D搜3D。搜索引擎只是Rodin的低级形态，影眸将把Rodin打造为3D天生大模型。
须要持续向前推进，就须要更多的工程化团队、技能美术和拥抱天生式AI的产品人才加入团队。作为一个以研发为背景主基调的团队，这样的人才仍旧紧缺。
“人是万物的尺度，”吴迪表示道，“我们须要更多志同道合的人加入，共同推动3D领域的创新发展。”
可以看到，ChatAvatar背后技能从无到有的搭建，揭示了一家AI初创公司的不断创新；而从这家公司对人才的渴望以小见大，更揭示着AIGC浪潮下，每一个细分领域想要从水下浮出水面的心。
你乐意拥抱天生式AI，成为Text-to-3D领域的Game Changer吗？
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态