只需30秒,AI就能像3D建模师一样,在各种指示下天生高质量人造Mesh

NeRF、3D Gaussian Splatting天生的三维重修图像Mesh效果如下:

点云造出风雅Mesh:

Dense Mesh根本上天生也可以:

30秒生成建模师级Mesh最大年夜可生成面数提至1600GitHub揽星19k

一张图,乃至文本描述就足够了:

GitHub已揽星1.9k的MeshAnything项目上新了V2版本,由来自南洋理工大学、清华大学、帝国理工学院、西湖大学等研究职员完成。

MeshAnything V2比较V1,利用了最新提出的Adjacent Mesh Tokenization(AMT)算法,将最大可天生面数从800提升到了1600。

比较之前的Mesh tokenization方法,AMT均匀只须要一半长度的token sequence即可表达同一个Mesh。

这项研究一经发布也迅速得到不少网友关注。

那么,MeshAnything究竟是一种若何的方法?MeshAnything V2做了哪些改进?

高度可控的人造Mesh天生

值得把稳的是,虽然AI很早就能够天生Mesh了,但这与上面所展示的天生人造Mesh有着巨大差异。

团队表示,所有之前方法,例如Marching Cubes和Get3D,天生的Mesh都是面片非常稠密的Mesh,面片数每每是人造Mesh的数百倍,险些不可能运用于游戏,电影等实际3D工业。

并且由于它们的面片构造不符合人类直觉,3D建模师很难再对其进行细致的加工。

如下图所示,这一问题没法大略地依赖remesh来办理,在不影响效果的条件下,remesh方法虽然仅仅能够小幅度地减少面片:

而上述问题直接影响了3D研究运用于工业界。

3D工业界的pipeline险些全以人造Mesh作为3D表征,纵然3D研究领域能产出精度极高的NeRF或者3D Gaussian,但没法将它们转化为工业界能运用的Mesh的话,运用将十分受限。

因此,之前研究团队提出了MeshAnything,旨在实现高度可控的人造Mesh天生。

MeshAnything是一个自回归的transformer,其将Mesh的每个面片视作token,全体Mesh被视作token序列,接着像大措辞模型一样,一个token一个token地天生,最终生成出全体Mesh。

MeshAnything利用精妙的condition设计,其将点云作为condition来实现高度可控的人造Mesh天生:

MeshAnything以点云为condition的设计让其可以与诸多3D扫描,3D重修,3D天生的方法结合。

这些种类繁多的方法终极得到的3D表示虽然多样,但总能从中采样到点云,从而输入到MeshAnything中转为人造Mesh,帮助这些能输出3D模型的事情利用到实际3D工业中。

其余,这种设计还大大降落了MeshAnything的演习难度,提高了效果。
由于点云供应了风雅的3D形状信息,MeshAnything不须要去学习繁芜的3D形状分布,只须要学习如何搭建出符合给定点云的人造Mesh。

MeshAnything V2有何提升?

MeshAnything V2在V1版本的根本上大幅度提高了性能,并将最大可天生面数800提升到了1600。

其紧张提升来源于其新提出的Adjacent Mesh Tokenization(AMT)算法。

比较之前的Mesh tokenization方法,AMT均匀只须要一半长度的token sequence即可表达同一个Mesh。

由于transformer的打算是n^2繁芜度,一半长度的token sequence意味着降落了4倍的attention打算量。
并且AMT得到的token sequence更加紧凑,构造更好,更有利于transformer的学习。

AMT是通过尽可能地仅仅用一个vertex来表达一个一个面片来实现上述进步的:

上图清晰地表达出了AMT的运作过程,其通过优先表达相邻的面片来用1个vertex表达一个面片。
当不存在相邻的没表达过的面片,AMT添加一个分外token “&”来标识这一情形并重新开始。

在AMT的帮助下,V2在性能和效率上大幅超过之前的方法,实现了高质量的人造Mesh天生。

在演习数据上,MeshAnything利用ShapeNet和Objaverse中的人造Mesh,将这些Mesh展开成token sequence之后利用cross-entropy loss监督。

V1和V2都仅仅利用了350m的transformer架构,100K的演习数据就得到了以上结果,表明该方向还有非常大scale up潜力。

更多结果如下:

V1项目主页:

https://buaacyw.github.io/mesh-anything/

V2项目主页:

https://buaacyw.github.io/meshanything-v2/

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一韶光获知前沿科技动态