编译 | 熊大宝
编辑 | 李水青
智东西4月19日，近日，加州大学伯克利分校的研究团队打造了一个两条腿的机器人Cassie（凯西），它可以通过AI强化学习自己学会走路，而非直接编程或模拟来学习。
比较传统经典模型法，强化学习无需建模，而是通过AI学习框架让Cassie以“试错”的办法进行自主演习，类似于婴儿学走路，主动适应环境逐渐实行敏捷、稳定、多样化的行走动作。行走之外，Cassie还会不断学习跑步、跳跃等新技能，还可实现自动调速功能。
未来，基于AI强化学习这一技能，运动机器人也将更为敏捷。
一、AI仿照演习学走路，无需婴儿般跌倒重来
双足机器人Cassie类似我们的腿部形状，因此比较其他形状的机器人更随意马虎进入为人类设计的城市环境之中。
为帮助Cassie像人类一样学会自主行走，研究团队将这个过程想象为如婴儿学走路一样平常。婴儿虽然不会直接学会站立行走，但他们能通过一次次的站立、跌倒、迈步中记住步辇儿的步骤，终极学会直立行走。
Cassie学走路也是如此。但为防止机器人在学习过程中跌倒破坏实际硬件，研究团队利用仿照到真实的传输技能，在仿照环境中演习，在高保真度的仿照器中进行评估，终极支配到Cassie机器人上。
在仿照中，机器人接管了描述直立行走等目标的信息后，AI引擎可以帮助其记住步辇儿步骤，以此为根本添加更多信息，终极学会直立行走。此外，它还可以学会如何在轻微滑倒时防止跌倒，或从侧面被推倒时如何规复。
一旦机器人在仿照中学会走路，研究职员便将此知识移植给Cassie，进行实际操作。后续实践中，研究职员操持连续在机器人中进行强化学习，看看它能走多远。
二、步态库中强化学习，让步伐更灵巧稳健
研究团队基于强化学习（ Reinforcement Learning；RL）方法，希望让Cassie通过系统学习法学会更敏捷的行走。强化学习又称增强学习、评价学习，是智能体以“试错”的办法进行学习，在环境交互中达成特定目的。
在此之前，研究者每每通过机器建模掌握双足机器人行走，然而这种办法难以对繁芜地面进行建模，机器人缺少适应环境变革的能力和运动稳定性。
基于强化学习的步辇儿掌握器
RL方法演习策略可以让机器人仿照步态库中的步态，通过随机演习增加其行为的多样性。这种多样性的增加，能够让Cassie应对以往无法建模的地面摩擦变革等环境成分，在随机环境下保持灵巧稳健性。
三、AI追踪行走环境，步辇儿速率、高度自动调
基于RL方法，研究职员建立了一种自适应调速步辇儿掌握器。
这种掌握器能够通过AI追踪Cassie的步辇儿环境，并给其适当的行走策略。
Cassie在不同场景下的行走策略
在实验中，Cassie能够实行各种敏捷行为，如快进和退却撤退行走、侧身行走、改变行走高度，还能够在偏航时进行转身操作。
此外，Cassie还能够从路障等外界随机扰动中规复。
结语：AI强化学习助机器人运动更敏捷
基于步态库的参考运动，AI强化学习可以帮助两足机器人学习步辇儿、转弯、下蹲等运动状态，跟踪其行走环境以达到自动调速、转弯等功能，让机器人在运动中更好的达到灵巧性和稳健性。
未来，AI强化学习还将在此根本上，助力两足机器人及其他机器人学习更多动态、敏捷的行为，助其在繁芜的未知环境下仍能应对自若。
来源：Tech Xplore