编辑：杜伟
借助不同风格之间的图像转换，CMU 的研究者教会了机器人理解透明液体。
如果机器人可以倒液体，则可以帮助我们自动完成烹饪、将药品倒入药瓶或给植物浇水等任务。但是，透明液体在图像中很难被感知出来，完备透明的液体可以供应的唯一视觉旗子暗记是光芒穿过液体的折射。此外，得到液体的深度丈量同样不随意马虎，由于液体会折射所投射的红外光。
以往的事情已经探索了机器人在各种环境下倒水，但都须要在环境或数据网络方法上做出重大妥协。透明液体细分的方法须要在演习期间加热液体，以在热成像仪不雅观察下得到真值标签。
然而，为演习加热液体是一个单调乏味的过程，对可以轻松网络多少演习数据有限定。其他方法须要从多视角、背景、重量丈量或液体运动等方面不雅观察液体，这些施加在环境上的哀求限定了这些方法的适用性。
近期，在 CMU 和圣母大学的一篇论文中，研究者提出了一种在透明容器中感知透明液体（如水）的方法。与以往方法比较，本研究提出的方法减轻了对操作域的限定。详细地，他们在单个图像上进行操作，不须要液体运动或多帧，也不须要在演习期间进行手动注释或加热液体。研究者利用一个天生模型来学习将有色液体的图像转换为透明液体的合成图像，这种做法可以用来演习透明的液体细分模型。
论文一作 Gautham Narasimhan 现为 CMU 机器人研究所的助理研究员，2020 年在 CMU 拿到了硕士学位。目前，他致力于研究用于机器人倒水任务的强化学习模型。该研究由 LG Electronics 和美国国家科学基金会供应帮助，并于 5 月份揭橥在 IEEE 国际机器人和自动化会议上。该论文已被机器人领域国际顶会 ICRA 2022 吸收。
论文地址：https://arxiv.org/pdf/2203.01538.pdf项目主页：https://sites.google.com/view/transparentliquidpouring
研究中非常主要的是，研究者在透明和有色液体的未配对图像数据集上演习转换模型，也便是说，他们的方法不须要有色和透明图像之间的标签对应来学习有色到透明转换模型。这样可以实现自动和高效的数据集网络。由于很随意马虎得到有色液体的细分标签，研究者可以直策应用一张有色液体图像的细分标签作为同一张图像的真值细分标签，只要它已经转换成了透明液体。
为了证明这种数据集转换方法在现实天下系统中的实用性，研究者构建了一个机器人倒水系统，它利用一个透明液体细分模型来完成倒水任务。在一个由机器人事情区中转换模型天生的透明液体合成图像的小型数据集上，他们对该细分模型进行演习。末了，研究者还进行了几个数据集扩增实验，以证明他们的方法有潜力演习可以泛化至多样化场景的透明液体细分模型。
研究者展示了机器人倒水的效果，比如倒了玻璃杯 75% 高度的水：
再比如倒了玻璃杯 50% 高度的水：
方法和实验概览
图像转换算法利用图像凑集来演习 AI 将图像从一种风格转换成另一种风格，比如将一张照片转换成莫奈风格的绘画或者使一匹马的图像看起来像斑马。在本文中，研究者利用了一种比拟学习方法来进行未配对的图像到图像转换（简称为 CUT）。
如下为有色液体图像转换成透明液体图像的详细流程图。他们利用论文 Section III-A 中描述的丢失来演习一个天生器 G，它将有色液体 D_color 的图像转换为 D_transpatent 图像。
Narasimhan 的导师、CMU 机器人研究所助理教授 David Held 表示，在学习的演习阶段，我们须要某种办法来见告算法哪些是精确和缺点的答案。然而，标记数据是一个耗时的过程，尤其是在教机器人倒水时，人类可能须要在图像中标记出单个水点。
David Held 还表示，正如我们可以演习一个将马的图像看起来像斑马的模型，我们同样能够演习一个将有色液体图像转换为透明液体图像的模型。这样，研究者可以利用该模型使机器人理解透明液体。下图为通过研究者演习的模型，实现了有色液体向透明液体的图像转换效果。图上为真实天下有色液体的图像，下图为天生的透明液体的图像。
透明液体细分是非常主要的一步，如下图所示，研究者利用天生器 G 将 D_color 的图像转换为透明图像，并通过背景减除从有色液体中天生伪真值的细分掩膜 M_i。末了，研究者利用标准的二进制交叉熵丢失在这个合成数据集上演习一个透明液体细分模型 S。
机器人很丢脸到像水这样的透明液体，由于透明液体反射、折射和接管光芒的办法因环境而异。为了教显示器通过一杯水看到不同的背景，研究者在装满水的透明玻璃杯后播放 YouTube 视频。通过这种办法演习系统，使得机器人可以在现实天下的不同背景下倒水，无论它处于何处。
下图为针对新的（未见过）容器和背景的细分泛化。
Narasimhan 说，纵然对人类来说，有时也很难准确地确定水和空气的边界。利用他们的方法，机器人能够将水倒进玻璃杯中的一定高度，如前文动图所示。
他还表示，未来依然有扩展这种方法的空间，添加不同的光芒条件，让机器人寻衅将水从一个容器倒进另一个，或者不但估计水的高度还有体积。
原文链接：https://www.cs.cmu.edu/news/2022/robots-pouring-water