《AI Enhanced Procedural City Generation》效果展示
会上，腾讯展示了利用AI从零开始迅速搭建一座 3D 虚拟城市的过程，所建虚拟城市情积达到 25 平方公里，包含 130 千米路网、 4416 栋建筑以及超过 38 万个室内映射。这样一座大规模城市的“构建”，过去每每须要多名美术师以年为单位的韶光才能完成，而结合AI只须要数周。
团队重点分享了城市布局天生、建筑外不雅观天生、室内映射天生三大核心能力，以下为详细先容。
01 城市布局天生
城市布局的真实感与多样化，紧张来源于两方面：道路布局和建筑布局。 第一步，创造真实感的道路布局。现实中的城市路网繁芜多样，布局疏密波折，且不少城市独具风格。
传统程序化天生的路网常日横平竖直、风格单一，要实现不同城市风格必须手动设计和反复修正，耗时至少一周。 腾讯 AI Lab 的办理方案，是让 AI 学习现实天下路网，再自动创造新道路，不仅天生结果更贴近现实，且操作简便高效：用户只须要输入城市主干道和海岸线，模型在 1 分钟内即可添补合理、多样的路网细节。
同时，工具支持实时修正输入，快速天生不同变体；也可在天生结果上进行细节微调，得到更符合需求的路网。全体过程仅需不到 30 分钟，比较手动设计效率提升近 100 倍。
调度输入（左）快速天生不同路网（右）
详细到技能实现，首先是数据的准备，包括数据的提取、筛选、裁剪及绘制。然后，演习一个扩散模型来学习这些数据的规律，得到不同城市风格的路网天生模型，末了将该模型嵌入到路网生产管线中。
路网天生模型
第二步，在路网根本上实现多样化的建筑布局。现有的程序化天生技能，同样只能天生风格有限的建筑轮廓，且建筑排布规律单一，实现多样性仍要依赖手工设计。
为办理以上问题，腾讯 AI Lab 基于大量真实建筑的轮廓数据及建筑排布信息，通过天生技能学习数据中的规律，从而天生大量真实多样且符合现实天下规律的建筑轮廓及建筑排布，末了把这些天生的建筑单元添补到路网中，从而完成建筑布局的制作。以演讲展示的demo为例，操作者在路网根本上，用10分钟就完成了这一过程。
02 建筑外不雅观天生
完成城市布局天生后，下一步是给建筑设计独特的外不雅观。目前常用的程序化天生管线包含以下步骤：网络图片、定义建筑拆解组合办法、准备3D素材库、参考照片制作独特建筑、已有建筑随机组合出更多变体、增加装饰。
个中紧张效率瓶颈在于参考照片制作单个独特建筑，以是常日只会制作少量独特建筑，而依赖随机组合产生的多样性较为有限，随意马虎让天生的场景产生重复感。 腾讯 AI Lab 的办理方案将 AI 与程序化天生结合，加速了 2D 照片到 3D 建筑的制作过程，将单个独特建筑的制作韶光降落至 17.5 分钟，使低本钱、高效率天生大量多样化建筑外不雅观成为可能。同时，借助自研的图像天生能力，批量天生大量外不雅观独特的 2D 建筑照片，提升了建筑外不雅观的丰富度。
通过单张 2D 照片天生 3D 建筑，其难点是对 3D 信息的准确估计。结合建筑的构造特点，腾讯 AI Lab 创新地提出合理的先验假设，有效办理了从 2D 照片提取 3D 信息的难题，较好地实现了从单张照片提取 3D 建筑的立面构造和表不雅观细节（如突出的阳台、墙面凹凸等）。
从输入照片中提取建筑立面构造和表不雅观细节
然后，将照片中检测到的各个单元，如窗户和阳台，自动映射到预先准备好的3D素材，以及将墙面映射到预先准备好的材质。以上提取的信息接入程序化管线即可完成图片到3D建筑的天生。
将照片中检测到的单元映射到3D素材
对付图像中不可见的部分（如房顶）和易遮挡的部分（如底层），腾讯 AI Lab 通过程序化管线补全得到了完全建筑。基于以上管线他们制作了157栋独特建筑，借助这些丰富的建筑立面资产，即可变革出数以千计的建筑外不雅观。
批量天生建筑立面
03 室内映射天生
为了让城市更具真实感，常日会增加建筑窗户上的室内效果。实现的第一步是构建虚拟房间，腾讯 AI Lab 的方法是将现实中的房间拍照重修。比较于传统美术建模，可以直接获取现实房间的丰富内容和细节，提高制作效率。 详细步骤包括，给一个房间拍摄多张连续照片，估计相机位姿，演习NeRF模型，合成新视角图片作为后续材质制作的输入。
室内映射天生步骤
考虑游戏运行性能，腾讯AI Lab基于NeRF输出的给定视角的颜色图和深度图，制作内部映射材质实现伪三维效果。比较于业内常见的两视图方案（下图左），腾讯 AI Lab 采取三视图方案（下图右），显著减少渲染效果中的拖影，同时兼顾性能。 末了，用程序化 UV 打算，将这些“伪3D”房间添补到之前天生好的建筑外墙上，城市里即充满了各式各样的房间。
程序化 UV 打算步骤
增加室内映射后的建筑效果
基于以上技能，真实感虚拟城市所须要的多样化城市布局、多风格城市建筑等核心要素已基本具备。然后，借助程序化天生，完成路面、植被等标准元素，再把所有元素转移至游戏引擎中，增加动态变革景象、车流与行人等，一个活灵巧现的虚拟城市轻松落成。
腾讯AI Lab表示，团队已在AI与游戏运用的结合上取得多项成果，包括利用AI进行游戏平衡性测试、游戏新手传授教化、关卡天生等。未来面向游戏行业，腾讯AI Lab 将聚焦 AI Bot 与 AIGC 两大方向，探索 AI 与游戏家当的深度领悟，覆盖从游戏研发到运营的全链路 AI 办理方案，助力游戏家当发展。