日前,微软人工智能卖力人大卫·卡莫纳(David Carmona)撰文先容了这次创新背后的故事,下面是映维网的详细整理:

我最喜好的游戏是《帝国时期》。
我是在大约20年前通过同事入坑,而我现在依然与我的儿子一起对战,但他总是绝不留情地把我干翻。
从封建时期到城堡时期再到帝国时期,升级文明是游戏的一个神奇时候。
每一个时期都带来了新的技能,并为你抵御对手和赢得战役的计策开辟了全新的路子。

我有时候认为我们现在的天下同样是介于这样一个过期代。
就犹如《帝国时期》一样,新的时期将带来新的技能,并许可我们用来应对外部滋扰和重新方案我们的计策。
对付Covid-19新冠肺炎,我们创造自己正处身于一个饱受滋扰的时候,而这迫使着我们重新思考该当如何行事。
现场活动便是个中之一。

疫情使得用户无法亲临大型现场活动,以是我们一贯在探求全新的办法来与客户沟通。
再说一次,如果你参加了Build大会,你已经亲自体验了我们微软环球活动团队是如何将统统转移到虚拟空间。

无需绿幕微软用AI为线上活动AR/VR打造更自然虚拟舞台

我们采取了一种实验性的方法来展示我们的内容,并且通过利用其他人的创新,我们构建了一种在“虚拟舞台”中展示活动环节的独特办法。

这个观点来自于2017年Adobe Research和华盛顿大学揭橥的两篇背景抠图论文。
这种方法许可任何人利用人工智能模型预测主体周围须要抠图的元素。
它基本上取代了背景,不须要绿幕。

以是, 我们利用我们的Azure Kinect传感器和一个基于华盛顿大学研究的人工智能模型,以背景抠图过程作为根本,并为我们的演讲者创造一种可以轻松在家录制演示内容并涌如今虚拟舞台的全新方法。

Azure Kinect摄像头通过红外线捕获深度信息,这种数据有助于提高人工智能模型的精度。
我们利用一个名为Speaker Recorder的运用程序来管理来自Azure Kinect摄像头的两个视频旗子暗记:RGB旗子暗记和深度旗子暗记。
录制完成后,我们通过命令行工具运用AI模型。
详细的细节请查看微软人工智能实验室。

我们利用的人工智能模型是基于华盛顿大学最近揭橥的研究成果。
这所大学开拓的一种深度神经网络可以拍摄两幅图像,一幅包含背景,另一幅包含职员。
神经网络的输出是一个平滑的透明掩模。

这个神经网络是基于图像演习,掩模事情则是手动完成。
华盛顿大学的研究职员采取了Adobe供应的一个数据集,而个中的大部分图片都是设计者手工创建的透明掩模。

通过这种方法,神经网络可以学习如何平滑头发等区域。
但它存在一定的局限性。
如果此人穿着与背景颜色相似的衣饰,系统会将其渲染为图像中的洞,从而毁坏幻觉。

以是,华盛顿大学的研究职员将把这种方法和另一种方法结合起来。
第二个神经网络考试测验通过不雅观察图像来预测轮廓。
在我们的虚拟舞台中,我们知道屏幕有一个人,以是神经网络将考试测验识别那个人的轮廓。
添加第二个神经网络可以肃清颜色透明度问题,但头发或手指等小细节可能是一个问题。

有趣的是,华盛顿大学的研究职员创造了一种称为Context Switching(情景切换)的架构。
根据情形,系统可以选择最佳办理方案,并从两个方案中得到最佳结果。

在我们的示例中,由于我们利用的是Azure Kinect,以是我们可以更进一步,用Kinect供应的轮廓更换第二个神经网络,由于存在捕获的深度信息,以是结果更加精确。

另一种称为对抗性网络的人工智能技能进一步改进了模型。
我们将神经网络的输出与另一个识别图像真假的神经网络相连接。
结果是一个可以创造更自然图像的神经网络。

人工智能模型、情景切换和神经网络创造了更为自然的舞台效果

结果?便是你在Build创新空间中看到的虚拟舞台。
虚拟舞台的用场无穷无尽,这个过程许可我们灵巧地将其运用到更长形式的会议之中,就像我们在微软人工智能虚拟峰会中的主题演讲一样。
如果你想理解我们是如何为虚拟峰会利用舞台,请关于6月2日上午9点的Microsoft LinkedIn直播。

全体演习过程和代码请访问GitHub。
谁知道呢,或许虚拟舞台的虚拟活动将是我们迈向下一个时期的办法。

我彷佛听到我的儿子正在叫我再来一盘《帝国时期》……

原文链接:https://yivian.com/news/75346.html