添加小助理：cv3d008，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。
扫描下方二维码，加入「3D视觉从入门到精通」知识星球，星球内凝聚了浩瀚3D视觉实战问题，以及各个模块的学习资料：近20门独家秘制视频课程、最新顶会论文、打算机视觉书本、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
0. 这篇文章干了啥？
近年来，仅从少量二维输入图像中重修三维表面一贯是打算机视觉领域的一个主要目标。虽然我们已进入了一个时期，可以通过最近基于SDF（Signed Distance Field，有符号间隔场）的神经场或二维高斯形式的surfels的进展，从大量精心捕获的图像中得到高质量的重构，但我们仍旧缺少从稀疏视角凑集中实行这项任务的能力。这种设置中的关键寻衅在于当前优化问题的约束不敷：有太多潜在的几何和外不雅观组合可以知足给定的稀疏图像不雅观测集。
办理此类约束不敷任务的常用方法是在公式中引入正则化或先验。范例方法包括特色同等性和来自单目深度、多视图立体或运动构造的线索。
最近，引入了学习到的先验，例如来自预演习的二维扩散模型。它们已被证明能够显著改进从少量不雅观测中重修的质量，能够产生缺失落的外不雅观细节。然而，基于扩散的方法的一个明显限定是，为了推广到3D场景可能具有的各种外不雅观领域，它们须要大量的演习数据。
在本文中，我们不雅观察到局部表面几何的空间远不如表面外不雅观的空间多样，并做出以下三个关键假设：(1) 我们认为学习一个有用的表面几何先验所需的演习数据远少于学习外不雅观先验所需的数据，(2) 合成数据可以作为几何演习数据的良好替代品，由于真实数据和合成数据在几何方面的领域差距较小，(3) 一个几何先验已经可以作为从少量不雅观测中进行外不雅观重修的有用约束。为了验证这一点，我们设计了一种架构，该架构在重修过程中明确地将几何与外不雅观建模分离，但同时又对两者进行联合优化。通过这种架构，我们能够在合成数据上预先演习我们网络的几何部分，并使其学习常见表面构造的空间。在测试韶光优化过程中，预先演习的几何分支则为场景的联合SDF和外不雅观重修供应正则化。
作为神经场表示，我们选择基于点的神经场，点由DUSt3R初始化，我们将其扩展到建模有符号间隔函数（SDF）而不是密度。在神经点云上，我们为SDF和局部邻域中的外不雅观存储单独的特色。该表示通过聚合和处理射线沿线上样本点的相邻特色，经由体渲染进行渲染。有符号间隔和辐射度分别由预演习的几何和解码器以及每个场景的外不雅观解码器预测。
下面一起来阅读一下这项事情~
1. 论文信息
标题：Spurfies: Sparse Surface Reconstruction using Local Geometry Priors
作者：Kevin Raj, Christopher Wewer, Raza Yunus, Eddy Ilg, Jan Eric Lenssen
机构：Saarland Informatics Campus
原文链接：https://arxiv.org/abs/2408.16544
2. 择要
我们先容了Spurfies，一种新的稀疏视图表面重修方法，该方法将外不雅观和几何信息分开，以利用在合成数据上演习的局部几何先验。最近的研究紧张集中在利用密集多视图设置的3D重修，常日须要数百张图像。然而，这些方法常日难以处理少视图场景。现有的稀疏视图重修技能常日依赖于多视图立体网络，该网络须要从大量数据中学习几何和外不雅观的联合先验。比较之下，我们引入了一种神经点表示，该表示将几何形状和外不雅观分开，以在仅利用合成ShapeNet数据集的子集之前演习局部几何形状。在推理过程中，我们利用该表面先验作为通过可微分体绘制从稀疏输入视图进行表面和外不雅观重修的附加约束，从而限定可能解的空间。我们在DTU数据集上验证了我们的方法的有效性，并表明它在表面质量方面优于先前的技能水平35%,同时实现了具有竞争力的新视图合成质量。此外，与以前的事情比较，我们的方法可以运用于更大的无界场景，如Mip-NeRF 360。
3. 效果展示
4. 紧张贡献
我们展示了Spurfies（本文提出的方法）
• 在稀疏视角表面重修质量上大幅优于先前方法，
• 达到最前辈的新视角合成质量，并且
• 能够运用于更大、无边界的场景，这得益于最近在点重修方面的进展以及仅在合成数据上演习的局部表面先验。
5. 基本事理是啥？
由于上一段中先容的将有符号间隔场与体渲染相结合的方法已证明能够从多个不雅观测值中供应高质量的表面重修，问题在于如何通过从演习数据集中得到的数据先验来表示 ˆs(x) 和 ˆr(x)，以实现稀疏视角重修。我们先容了我们命名为“Spurfies”（图2）的技能。它通过两个关键组件扩展了体渲染：（1）神经点表示，个中每个点 pi 都与几何和外不雅观潜在码 fi = (f_gi, f_ai) 干系联，这些码能够实现两种模态的局部处理和有效分离。（2）局部几何先验，用于缓解稀疏视角重修中固有的形状-辐射度模糊性。我们认为，几何形状的变革少于外不雅观，因此分离与强大的几何先验相结合是关键。与之前在演习过程中依赖多视角立体数据的事情不同，仅从合成物体数据集（ShapeNet）中得到这样的局部先验就足够了。
6. 实验结果
7. 总结 & 未来事情
我们先容了“Spurfies”，这是一种用于稀疏视角表面重修的新方法，它利用点云上的分布式神经表示，并完备分离了几何和外不雅观。我们的事情表明，利用一小部分精确的合成ShapeNet数据就足以学习高质量的局部表面先验。我们在DTU和Mip-NeRF360数据集上评估了我们的方法，展示了在DTU数据集上从稀疏视角进行网格重修的最新性能，并且我们的方法可以推广到大场景。我们的结果表明，“Spurfies”有效地缓解了稀疏视角设置中固有的形状-辐射度模糊性，利用稀疏输入视图产生了高质量的表面重修。我们的事情为该领域的未来方向供应了主要见地，即几何先验最为主要，并且可以通过将其与外不雅观分离并在合成数据上进行演习来有效建模。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉互换群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括2D打算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重修、无人机等方向，细分群包括：
工业3D视觉：相机标定、立体匹配、三维点云、构造光、机器臂抓取、毛病检测、6D位姿估计、相位偏折术、Halcon、拍照丈量、阵列相机、光度立体视觉等。
SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器领悟、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器领悟、自动驾驶综合群等、3D目标检测、路径方案、轨迹预测、3D点云分割、模型支配、车道线检测、Occupancy、目标跟踪等。
三维重修：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机：四旋翼建模、无人机飞控等
2D打算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D毛病检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿：具身智能、大模型、Mamba、扩散模型等
除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等互换群
添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。
「3D视觉从入门到精通」知识星球
具身智能、3DGS、NeRF、构造光、相位偏折术、机器臂抓取、点云实战、Open3D、毛病检测、BEV感知、Occupancy、Transformer、模型支配、3D目标检测、深度估计、多传感器标定、方案与掌握、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人掌握方案、LeGo-LAOM、多模态领悟SLAM、LOAM-SLAM、室闺阁外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重修、colmap、线面构造光、硬件构造光扫描仪等。
3D视觉模组选型：www.3dcver.com
— 完 —