零AI含量纯随机数学无限生成逼真3D世界火了普林斯顿华人一作

量子位 | 公众年夜众号 QbitAI

谁说天生图像、视频一定要靠AI？

普林斯顿大学新出的神器，可无限天生逼真3D天下，特殊强调“No AI”。

浅浅感想熏染一下这个效果：

不要以为天生的只是一段视频，实在背后是一套完全的3D资产，基于建模软件Blender打造。

此时所有blender用户一起跟我：啊？

如此一来，我们就能用参数来掌握细节：

或者拿到相应的光流图、3D场景光流图、深度图、全景分割图等等，轻松hold住各种CV任务。

最最主要的是，它还免费、开源！

妈妈真的再也不用担心我找不到高质量的3D数据投喂AI了……

完全视频感想熏染一下震荡：

视频加载中...

只管AI发展迅猛，但目前CV领域的许多任务仍旧缺少高质量的数据，3D尤甚。

一个办理办法是用合成数据。
事实证明，在这类数据上演习的模型在零样本的真实图像上也可以表现得很好。

但问题是，现有的大多数免费3D合成数据工具基本局限于单一场景：要么是自动驾驶干系，要么便是那种位于室底细况中的人造物体。

因此，为了扩大覆盖范围，尤其是真实天下里的自然场景，作者基于Blender打造了这个基于随机数学规则无限天生各种场景的Infinigen。

Infinigen紧张利用Blender的“基元”（或原语），设计了一个程序规则库，通过编码完成真实自然场景各个工具的天生。

论文紧张先容了Infinigen的程序体系，包括：

如下图所示，它天生的代码更通用，既许可我们随机化输入参数，大概可随机化图构造。

Generator Subsystems（天生器子系统），Infinigen的天生器是是一个个基于概率的程序，每个程序专门用于天生一个子工具（比如山脉或鱼类）。
每个工具都有一组高等参数（比如山的总高度），用户可以利用Python API来调度这些参数，以实现对数据天生的细粒度掌握。
Material Generators（材料天生器），一共有50个，每个都由一个能指定颜色和反射率的随机着色器和一个天生相应风雅几何细节的局部几何天生器组成。

如下图由所示，它能担保非常真实的几何细节。

Terrain Generators（地形天生器），如下图所示，该天生器可以通过反复挤压天生巨石，利用Blender的内置插件天生小石块。

并帮助Infinigen通过利用FLIP仿照动力学流体，利用Blender的粒子系统仿照景象。

Plants & Underwater Object Generators（植物和水下物体发生器），包括利用用随机游走等算法对树木成长进行建模，从而形成一个覆盖各种树木、灌木乃至神仙掌的3D天下。

又或者是利用差异化成长、拉普拉斯成长和反应扩散制造各种珊瑚、利用几何节点图天生树叶、花朵、海藻、海带、软体动物和水母。

还有各种子天生器（比如生物天生器）就不一一先容了。

除了这些，Infinigen还包括一个图像渲染与Ground Truth提取程序，紧张用于天生下图这些类型的图像。

个中对付前者，系统利用了Blender基于自然规律的路径跟踪渲染器Cycles来渲染图像。

作者先容，虽然利用Blender开拓了Infinigen的程序规则，不过程序天生的很大一部分是在Blender之外完成的。

其余，他们也表示，构建Infinigen是一项极大量的软件工程，光是它代码库的主分支就席卷了40485行代码。

末了，Infinigen在2个Intel Xeon Silver 4114 @ 2.20GHz CPU和1个NVidia GPU上进行了基准测试，天生一对1080p图像的韶光（wall time）为3.5小时。

下表是它与现有合成数据集或天生器的比较。

作者表示，从中可以看出，Infinigen最大的优点便是不须要任何外部参考资源库就能程序化地天生无限的自然3D数据，别的都弗成。

Infinigen将在本周三的CVPR会议上进行Poster展示。

它的作者全部来自普林斯顿大学Vision & Learning Lab。

三位共同一作，个中一位叫Ma Zeyu，普林斯顿大学博士三年级在读，2020年本科毕业于清华大学电子工程专业。

通讯作者为普林斯顿大学打算机科学系副教授邓嘉。

目前，Infinigen的代码已经上线GitHub，短短两天已有850个标星。

论文地址：https://arxiv.org/abs/2306.09310项目主页：https://infinigen.org/GitHub地址：https://github.com/princeton-vl/infinigen