机器之心编辑部
近日，腾讯宣告推出一项名为 Paint3D 的技能，它能够根据文本或图像输入，为无纹理的 3D 模型天生高分辨率、无光照且多样化的纹理贴图，对任何 3D 物体进行纹理绘制。
效果演示视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650902583&idx=4&sn=f6dc3e249733814aedb8d01a86aa899c&chksm=84e45449b393dd5f5f2daaf40751040789796ca82975d03e20462fa95f82873d9243de094ac8&token=452211561&lang=zh_CN#rd
干系技能论文已经公开。
项目主页：https://paint3d.github.io/论文地址：https://arxiv.org/abs/2312.13913Code: https://github.com/OpenTexture/Paint3D
据论文先容，这项技能紧张办理的寻衅是如何天生没有内嵌光照信息的高质量纹理，使得天生的纹理能够被重新照明或重新编辑，直接应用于现有的渲染管道。
Paint3D 通过引入预演习 2D 图像天生模型来获取笔墨和图像输入的勾引能力，从不同的提示中概括出丰富且高质量的纹理。在此根本上，Paint3D 利用 3D 数据高质量的无照明纹理作为监督，在 UV 纹理空间上演习无光照扩散模型，天生无光照纹理。这些纹理没有内嵌光照阴影效果，同时保持了语义同等性，大大提升了 3D 模型纹理天生方面的最优效果。
3D 天生领域学者 Yawar Siddiqui 评价道：「终于有一种无内嵌光照的纹理天生方法了，结果非常出色，是我所见过的最好的纹理天生方法！
」
推特用户 COBALT 评价道：「这真是令人难以置信，对视频游戏开拓的未来感到愉快，这些强大的工具可以加速进程！
」
方法概述
两阶段纹理天生框架
为了基于输入条件（如笔墨信息或图像）合成高质量且多样化的 3D 模型纹理贴图，Paint3D 的研究职员设计了一个由粗到风雅的框架，逐步天生和改进纹理贴图。
该框架紧张分为粗糙纹理天生和纹理细化两个阶段：1）在粗糙阶段，从预演习的 2D 图像扩散模型中采样多视角图像，然后将这些图像反投影到网非分特别面上，创建初始纹理贴图。2）在细化阶段，通过在 UV 空间中实行扩散过程来增强粗糙纹理贴图，实现无光照、修复和高清功能，以确保终极纹理的高质量和完全性。
粗糙纹理天生阶段
在粗糙阶段，研究团队基于预演习的视角深度感知的 2D 扩散模型为 3D 模型天生粗糙的 UV 纹理贴图，从不同的相机视角渲染深度图，然后利用深度条件从图像扩散模型中采样图像，末了将这些图像反投影到网非分特别面上。
为了提高每个视角中纹理网格的同等性，研究团队交替实行渲染、采样和反投影的三个过程，首先，从第一个视角将 3D 网格渲染成深度图，然后根据输入纹理条件和深度图像，利用 2D 扩散模型采样得到纹理图像：
接下来，将这个图像从第一个视角反投影到 3D 网格上，天生该视角的纹理贴图。在预先定义的 n 个相机视角上依次进行上述过程，领悟后得到 3D 模型粗糙的纹理贴图。
纹理细化阶段
对付细化阶段而言，只管第一阶段天生的粗糙纹理外不雅观是连贯的，但仍存在一些问题，比如由 2D 图像扩散模型引起的光照阴影，或者在渲染过程中由自遮挡引起的纹理空洞。为了缓解这些问题并在纹理细化过程中进一步增强纹理贴图的视觉美感，研究团队在 UV 空间中演习扩散模型，基于粗糙纹理贴图在 UV 空间中完成纹理细化过程。
为了在 UV 空间中演习扩散模型，研究职员引入了位置图来表示纹理片段的 3D 毗邻信息。位置图中的每个非背景元素都是一个 3D 点坐标，可以通过将 3D 点坐标进行 UV 映射来得到。
研究职员在预演习的图像扩散模型中添加了一个独立的位置图编码器，用于在扩散过程中领悟 3D 毗邻信息。这个编码器与图像扩散模型中的编码用具有相同的架构，并通过零卷积层连接在一起。新的编码器利用 3D 数据高质量的无照明纹理作为监督，在 UV 空间上演习无光照扩散模型：
通过纹理细化过程，研究团队减轻了光照阴影和纹理空洞等问题，并进一步提升了纹理贴图的视觉美感。
实验结果
Paint3D 通过一系列的量化和定性实验，证明了其在天生多样化纹理贴图方面的显著能力。该评估随机选取了多个 3D 模型天生纹理贴图，覆盖了人物、汽车、飞机、桌椅等多种物体种别，通过评估 FID 得分及用户调研来定量评估其纹理天生的效果。
实验结果显示，Paint3D 有着更好的纹理天生质量，同时能天生更符合输入条件的纹理结果，实验结果比拟如下：
研究职员也在相同的 3D 模型上与当前最佳的纹理天生算法进行比较。结果显示，Paint3D 险些在所有的样本上都达到了更好的效果，也是唯一一个能天生无内嵌光照纹理的算法。比较结果如下：
Paint3D 的实验中还展示了多种输入条件勾引的纹理贴图天生，包括笔墨描述和示例图像勾引下的纹理天生。
笔墨描述勾引的纹理天生链接:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650902583&idx=4&sn=f6dc3e249733814aedb8d01a86aa899c&chksm=84e45449b393dd5f5f2daaf40751040789796ca82975d03e20462fa95f82873d9243de094ac8&token=452211561&lang=zh_CN#rd
示例图像勾引的纹理天生:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650902583&idx=4&sn=f6dc3e249733814aedb8d01a86aa899c&chksm=84e45449b393dd5f5f2daaf40751040789796ca82975d03e20462fa95f82873d9243de094ac8&token=452211561&lang=zh_CN#rd
结论
综上所述，Paint3D 的涌现标志着自动化纹理贴图天生领域的重大进展。它在天生高质量纹理贴图的同时，供应了包括笔墨描述和示例图像的纹理天生掌握选项，通过精确掌握纹理贴图中的内容和风格，Paint3D 可以天生高质量、多样化的纹理贴图，从而显著推进 3D 工具纹理化的最前辈技能。
更为主要的是，Paint3D 天生的纹理贴图是没有内嵌光照阴影效果的，使得天生的纹理能够被重新照明或重新编辑，直接应用于现有的渲染管线，在艺术创作、数字媒系统编制作和游戏内容创作等领域发挥主要浸染。