编辑 | 陈彩娴
如今，每隔一段韶光就有新的文本天生图像模型释出，个个效果都很强大，每每惊艳众人，这个领域已经是卷上天了。不过，像 OpenAI 的 DALL-E 2 或谷歌 的 Imagen 等 AI 系统，都只能天生二维图像，如果笔墨也能变成三维场景，那带来视觉体验势必更加提升。现在，来自苹果的 AI 团队推出了 3D 场景天生的最新神经架构—— GAUDI 。它可以捕捉繁芜和逼真的 3D 场景分布，从移动摄像机中进行沉浸式渲染，还能根据文本提示来创建 3D 场景！
该模型以 Antoni Gaudi 命名，他是西班牙著名的建筑大师 。论文地址：https://arxiv.org/pdf/2207.13751.pdf
神经渲染（nerual rendering）将打算机图形学与人工智能结合起来，已经产生了很多从 2D 图像天生 3D 模型的系统。比如最近 Nvidia 开拓的 3D MoMa 可以在一个小时内从不到 100 张的照片中创建出 3D 模型。谷歌也依赖神经辐射场（NeRFs ）在谷歌舆图中将 2D 卫星和街景图像组合成 3D 场景，实现了沉浸式视图。谷歌的 HumanNeRF 还可以从视频中渲染出 3D 人体。目前，NeRFs 紧张还是用作 3D 模型和 3D 场景的一种神经存储介质，可以从不同的相机视角进行渲染。NeRFs 也已经开始被用于虚拟现实体验。那么，NeRFs 这种从不同摄像机角度逼真地渲染图像的强大能力，能不能用于天生式 AI 呢？当然可以，已经有研究团队考试测验了 3D 场景的天生，如谷歌在去年首次推出了 AI 系统 Dream Fields，它将 NeRF 天生 3D 视图的能力与 OpenAI 的 CLIP 评估图像内容的能力相结合，终极实现了能够天生匹配文本描述的 NeRF。但是，谷歌的 Dream Fields 只能天生针对单个工具的 3D 视图，要将它扩展到完备不受约束的 3D 场景还存在很多困难。最大的难点就在于摄像机的位置有很大的限定，对付单个工具，每个可能的、合理的摄像机位置都可以映射到一个圆顶，但在 3D 场景中，摄像机的位置会受到工具和墙壁等障碍物的限定。如果在场景天生时不考虑这些成分，那就很难天生 3D 场景。对付上述摄像机位置受限的问题，苹果的 GAUDI 模型拿出了三个专门的网络来轻松搞定：GAUDI 有一个相机姿态解码器，它将摄像机姿态与场景的 3D 几何和外不雅观分离开来，可以预测摄像机的可能位置，并确保输出是 3D 场景架构的有效位置。
针对场景的场景解码器则可以预测三维平面的表示，这种表示是一种 3D 画布。然后，辐射场解码器会在这块画布上利用体积渲染方程来绘制后续的图像。一是潜在和网络参数的优化：学习对数千条轨迹的 3D 辐射场和相应相机姿态进行编码的潜在表示。与针对单个工具不同，有效相机姿态随着场景的变革而不同，以是须要对每个场景有效的相机姿态进行编码。二是利用扩散模型在潜在表示长进修天生模型，从而能够在有条件和无条件的推理任务中都能很好地建模。前者是根据文本或图像提示来天生 3D 场景，后者则是根据摄像机轨迹来天生 3D场景。通过 3D 室内场景，GAUDI 可以天生新的摄像机运动。如不才面一些示例中，文本描述包含有关场景和导航路径的信息。这里研究团队采取了预先演习的基于 RoBERTa 的文本编码器，并利用个中央表示来调节扩散模型，天生效果如下：其余，利用预演习的ResNet-18 作为图像编码器，GAUDI 能够对从随机视点不雅观察给定图像的辐射场进行采样，从而从图像提示中创建 3D 场景。研究职员在四个不同的数据集（包括室内扫描数据集 ARKitScences）上进行了实验，结果表明， GAUDI 可以重修学习视图，而且可以与现有方法的质量相匹配。纵然是在为数千个室内场景制作具有数十万张图像的 3D 场景的弘大任务中，GAUDI 也不会涌现模式崩溃或方向问题。GAUDI 的涌现不仅会对许多打算机视觉任务上产生影响，而且其 3D 场景的天生能力也将有利于基于模型的强化学习和方案、SLAM 以及 3D 内容的制作等研究领域。就目前来看，GAUDI 天生的视频质量还不算高，可以看出有很多伪影。不过，这个别系或容许以为苹果正在进行的渲染 3D 工具和场景的 AI 系统，这是一个好的开始和根本，听说 GAUDI 还将被运用到苹果的 XR 耳机中，用于天生数字化位置。可以期待一下~https://medium.com/mlearning-ai/how-to-generate-3d-scenes-from-text-descriptions-2345bfb321https://mixed-news.com/en/apples-new-gaudi-ai-turns-text-prompts-into-3d-scenes/