只需30秒，AI就能像3D建模师一样，在各种指示下天生高质量人造Mesh。
NeRF、3D Gaussian Splatting天生的三维重修图像Mesh效果如下：
点云造出风雅Mesh：
Dense Mesh根本上天生也可以：
一张图，乃至文本描述就足够了：
GitHub已揽星1.9k的MeshAnything项目上新了V2版本，由来自南洋理工大学、清华大学、帝国理工学院、西湖大学等研究职员完成。
MeshAnything V2比较V1，利用了最新提出的Adjacent Mesh Tokenization（AMT）算法，将最大可天生面数从800提升到了1600。
比较之前的Mesh tokenization方法，AMT均匀只须要一半长度的token sequence即可表达同一个Mesh。
这项研究一经发布也迅速得到不少网友关注。
那么，MeshAnything究竟是一种若何的方法？MeshAnything V2做了哪些改进？
高度可控的人造Mesh天生值得把稳的是，虽然AI很早就能够天生Mesh了，但这与上面所展示的天生人造Mesh有着巨大差异。
团队表示，所有之前方法，例如Marching Cubes和Get3D，天生的Mesh都是面片非常稠密的Mesh，面片数每每是人造Mesh的数百倍，险些不可能运用于游戏，电影等实际3D工业。
并且由于它们的面片构造不符合人类直觉，3D建模师很难再对其进行细致的加工。
如下图所示，这一问题没法大略地依赖remesh来办理，在不影响效果的条件下，remesh方法虽然仅仅能够小幅度地减少面片：
而上述问题直接影响了3D研究运用于工业界。
3D工业界的pipeline险些全以人造Mesh作为3D表征，纵然3D研究领域能产出精度极高的NeRF或者3D Gaussian，但没法将它们转化为工业界能运用的Mesh的话，运用将十分受限。
因此，之前研究团队提出了MeshAnything，旨在实现高度可控的人造Mesh天生。
MeshAnything是一个自回归的transformer，其将Mesh的每个面片视作token，全体Mesh被视作token序列，接着像大措辞模型一样，一个token一个token地天生，最终生成出全体Mesh。
MeshAnything利用精妙的condition设计，其将点云作为condition来实现高度可控的人造Mesh天生：
MeshAnything以点云为condition的设计让其可以与诸多3D扫描，3D重修，3D天生的方法结合。
这些种类繁多的方法终极得到的3D表示虽然多样，但总能从中采样到点云，从而输入到MeshAnything中转为人造Mesh，帮助这些能输出3D模型的事情利用到实际3D工业中。
其余，这种设计还大大降落了MeshAnything的演习难度，提高了效果。由于点云供应了风雅的3D形状信息，MeshAnything不须要去学习繁芜的3D形状分布，只须要学习如何搭建出符合给定点云的人造Mesh。
MeshAnything V2有何提升？MeshAnything V2在V1版本的根本上大幅度提高了性能，并将最大可天生面数800提升到了1600。
其紧张提升来源于其新提出的Adjacent Mesh Tokenization（AMT）算法。
比较之前的Mesh tokenization方法，AMT均匀只须要一半长度的token sequence即可表达同一个Mesh。
由于transformer的打算是n^2繁芜度，一半长度的token sequence意味着降落了4倍的attention打算量。并且AMT得到的token sequence更加紧凑，构造更好，更有利于transformer的学习。
AMT是通过尽可能地仅仅用一个vertex来表达一个一个面片来实现上述进步的：
上图清晰地表达出了AMT的运作过程，其通过优先表达相邻的面片来用1个vertex表达一个面片。当不存在相邻的没表达过的面片，AMT添加一个分外token “&”来标识这一情形并重新开始。
在AMT的帮助下，V2在性能和效率上大幅超过之前的方法，实现了高质量的人造Mesh天生。
在演习数据上，MeshAnything利用ShapeNet和Objaverse中的人造Mesh，将这些Mesh展开成token sequence之后利用cross-entropy loss监督。
V1和V2都仅仅利用了350m的transformer架构，100K的演习数据就得到了以上结果，表明该方向还有非常大scale up潜力。
更多结果如下：
V1项目主页:
https://buaacyw.github.io/mesh-anything/
V2项目主页:
https://buaacyw.github.io/meshanything-v2/
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态