在一篇即将揭橥的论文“Dexterous In-Hand Manipulation”（机动的手工操作）中，OpenAI 的研究职员展示了一种利用增强模型的系统，它在一系列反复的试验与试错中让 AI 进行学习，终极辅导机器人用手臂以精准的尺度抓取并操控物体。更令人意外的是，它完备在打算机仿照中进行数字演习，没有供应任何人类演示。
“对人类而言，机动地操控物体属于基本日常，但对机器人却颇具寻衅，”团队写道。“目前的机器人常日是在有限的设置中完成特定的任务，很多都不能驾驭繁芜的末端实行器。在这项研究中，我们演示了掌握策略的培训方法，这些掌握策略可以进行手工操作，并且可以支配在机器人上。”
那么他们是如何做到的？研究职员用 MuJoCo 物理引擎来仿照物理环境，让真实的机器人可以在个中进行操作。他们还用 Unity 渲染图像，通过培训打算机视觉模型来让机器人识别姿势。但这种方法有局限性，仿照只是物理模型的“粗略近似”，过渡到现实天下中可能就有点困难了。
图丨 OpenAI 的机器人系统开拓的新型物体操控手臂
他们的办理方案是将各个环境变量随机化，比如物理（摩擦、重力、枢纽关头限定、物体尺寸等）和视觉外不雅观（亮度、姿势、材料及纹理）。这既降落了过度拟合（神经网络在演习中受噪音滋扰而对其性能产生负面影响的征象）的可能性，又增加了天生有效算法的机会，让机器人基于真实天下手势与姿势选择动作。
接下来，研究职员开始演习循环神经网络模型。384 台打算机，每台配备 16 核 CPU，每小时可以产生约两年的仿照履历。在一个 8 核 CPU 电脑上进行优化后，他们又进入下一步：演习卷积神经网络。卷积神经网络可以通过三个仿照摄像机图像来预测机器人手中物体的位置和方向。
图丨模型演习流程图
模型演习完成后就可以开始验证测试了。研究职员利用的是幻影手臂（Shadow Dexterous Hand），它是一个拥有 24 个自由度的五指机器人手臂。为了操控物体，手臂被安装在铝制框架上。研究职员同时用两组摄像机（动作捕捉摄像机与 RGB 摄像机）作为系统的眼睛，它可以追踪物体的旋转与方向。（虽然幻影手臂有触摸传感器，但团队仅选择利用其枢纽关头感应功能对手指位置进行细粒度掌握。）
团队测试了两次。第一次测试中，算法的任务是将标有字母的立方体重新定向。团队随机选取字母，AI 系统完成之后就改换新字母，如此一贯重复，直到立方体从机器人手中脱落，或者操控一个立方体要所需韶光超过 1 分钟，又或者机器人成功操作 50 次。在第二次测试中，研究职员将立方体更换为八角棱柱。
结果如何呢？这些模型不仅有“前所未有”的表现，而前还顺便创造了人类的抓取动作，比如三角抓取（用拇指、食指和中指抓取），棱镜抓取（拇指与其它手指相互对立），还有指尖捏握。它们还学会了如何旋转机器人手臂，以及如何利用重力、平移和旋转力将物体放入空想位置。
“我们的系统不仅能重新创造人类的抓取技能，还能让抓取动作更好地适应自身的局限和能力，”他们写道。
但它还不足完美。它还没有接管操控多个物体的演习，抓取球形物体很费劲。在第二次测试中，仿照和真实的机器人操作之间存在丈量得到的性能差距。
但终极，该研究展现了当代深度学习算法的潜力。研究职员总结说：“现实天下中有一些问题是那些非学习型机器人无法办理的，我们的算法可以办理这些问题”。