提到贝壳找房，不少人会急速想到一个词“VR 看房”，这是贝壳找房于 2018 年推出的核心功能。为增加用户对房屋的理解，贝壳找房基于自研设备采集到房屋的二维和三维信息，对房源进行深度解读；同时利用人工智能技能，全自动天生房屋三维模型和户型图。
在本届QCon 2019 环球软件开拓大会上，InfoQ 有幸采访到了贝壳如视算法架构团队潘慈辉，由他亲自讲解 VR/AR 设备与算法基本事理结合的难点以及贝壳如视的自动天生户型图技能。
视频加载中...
以下是视频采访的全部内容，为方便读者查看，视频下方也附上了笔墨内容。
InfoQ：非常感谢您参加 QCon 2019 的视频采访，首先请您做一下大略的自我介绍，包括您所在的贝壳如视团队的基本情形。
潘慈辉：我叫潘慈辉，现在贝壳如视的算法架构组，全体如视团队大概有 130 多人，我之前在法国萨克雷大学攻读打算机博士，之后在法国国立信息研究所和伯克利做过科研。加入贝壳之前，曾先后任职于大疆和优必选。InfoQ：您可以大略先容一下贝壳找房的户型图自动生成功能紧张用到了哪些人工智能技能？取得了什么样的效果？
潘慈辉：贝壳找房的户型图自动天生算法紧张用到深度学习网络、GAN 网络和一些优化框架，在全体户型图自动天生过程也考试测验了很多最新、最前沿的算法。目前已经可以在很大程度上缓解了之前拍照师手工标注的痛楚，已经做到很大的效率提升。在算法层面，我们紧张是跟外洋高校互助，比如 Furukawa 教授在 2018 年和 2019 年的一些论文成果，都在户型图算法里面得到运用和表示。
InfoQ：当初，贝壳找房基于什么样的背景决定研发该技能？
潘慈辉：比较较而言，人工智能算法确实比传统的，基于人手工列的规则和算法效果更好。此外，贝壳找房积累了大量房源和手工标注天生的户型图数据。在此根本上，如视团队决定考试测验人工智能的最新算法，全体研发团队当时也具备这样的研发能力。InfoQ：全体研发过程紧张经历了哪几个阶段？分别碰着了哪些痛点又是如何办理的？
潘慈辉：详细来说，第一阶段紧张是数据采集和标注，这是贝壳找房的上风所在；第二阶段是算法研发部分，该阶段有 Furukawa 教授作为倔强后盾；第三阶段紧张是与详细业务场景和案例结合，由算法和研发团队不断更新迭代，进而达到更好的效果。InfoQ：在这个过程中，贝壳找房利用了哪些开源技能？
潘慈辉：户型图这边的第一个版本是 Furukawa 教授的研究成果，教授本人目前已经将该技能成果开源，但在此之后，如视团队已经基于该成果进行了研发改进，这可以举措看成是一个开源技能的运用。InfoQ：据理解在这个过程中，VR/AR 设备也有加入。您可以大略先容一下，这些设备是如何与算法的基本事理相结合的呢？
潘慈辉：VR/AR 紧张是利用在数据采集及算法层面，用于获取二维和三维信息，使该算法在天生户型图时能够同时参考 VR/AR 设备采集的二维和三维数据，使全体结果更加准确。InfoQ：在这个过程当中， VR/AR 设备与人工智能算法相结合的有哪些难点呢？
潘慈辉：在我看来，如果人工智能算法想要在 VR/AR 方面做一些运用或者提效，数据采集和标的是一个很主要的问题，并须要很好的硬件来做准备事情。人工智能须要大量演习数据和标注数据，而 VR/AR 运用的视觉效果非常主不雅观，这会导致人工智能在 AR/VR 方面的运用须要将这些主不雅观的视觉效果有效的转化为客不雅观的可量化标准。InfoQ：据我所知，业内也有一些公司在研发户型图自动天生算法。您认为，贝壳找房在这之中的上风和差异性是如何表示的？
潘慈辉：一方面，贝壳找房有大概一百多万套户型以及拍照师手动标注的户型图数据，这是做算法，特殊是人工智能算法必不可少的。此外，贝壳找房的研发力量除了贝壳如视的研发职员，也请到了 Furukawa 教授作为技能顾问，其在户型图天生领域的研究成果处于国际领先水平。InfoQ：这些技能对用户体验方面紧张有哪些提升？
潘慈辉：在用户体验方面，户型图上的体验可能差异不大，但对付 VR 看房，或者三维模型、AI 讲房等从无到有的功能培植，目前的效果比较好，模型风雅程度以及全景看房的分辨率，或者精美程度也有一定提升。InfoQ：接下来在户型图自动天生方面，贝壳找房的重点改进方向是什么？
潘慈辉：在改进层面，贝壳如视也在做一些研发和探索，基于 Furukawa 教授最新的一篇没有揭橥的论文，进行相应的考试测验和改进，这是一套自上而下的方法，比较先前的研究结果，在准确度和处理的房屋类型上会有较大提升。就全体行业而言，户型图天生方面的问题已经基本得到办理，后续可能会对一些比较奇特的户型进行较好适配。InfoQ：贝壳如视团队在人工智能技能运用方面的重点关注方向会是什么呢？
潘慈辉：未来一段韶光，贝壳如视将重点关注三维的 VR 空间理解和重构。详细来说，首先是全景图的图像质量希望可以做得更加幽美，全体全景图与全景点之间有比较好且无感的连接。其次，在房屋三维模型上，紧张利用视觉以及深度学习里面的识别分割检测和定位等技能，将这些运用到三维重修户型图，乃至模型天生中，并将精度、干系智能性及鲁棒性得到进一步提升。末了，在硬件和算法的紧密程度上进行深入磋商，可能会更新现有硬件设备。推举阅读贝壳找房郭凯：贝壳用户画像系统的构建进程
查看文章，点击理解更多