量子位 宣布 | "大众年夜众号 QbitAI
从0开始在《我的天下》 （MineCraft）中挖出一块钻石，须要多永劫光？
对付熟习游戏的玩家来说，可能只须要几分钟的韶光：
△图源Youtube@ItzJhief
然而对付AI来说，15分钟内可能都挖不出1块钻石！
为了发掘AI的潜力，CMU、微软、DeepMind和OpenAI联手在顶会NeurIPS上举办了一个名叫MineRL的竞赛，哀求参赛军队在4天韶光内，演习出一个能在15分钟内挖出钻石的AI“矿工”。
从往届表现来看，冠军连40分都拿不到，乃至举办方给出的AI Baselines只能达到2分旁边的水准（满分100分）。
今年，腾讯的绝悟AI却以76.97分的绝对上风一举夺魁，成功成为寻衅赛历史上“挖矿最迅速”的AI。（不过，这几届的所有AI，都没能达成15min内挖出钻石这一寻衅）
△赤色为绝悟AI分数
腾讯AI Lab是怎么拿到冠军的？
“AI矿工”为何难以挖出钻石？之以是AI难以在竞赛中迅速挖出钻石，紧张有两方面的缘故原由。
一方面，《我的天下》游戏本身对AI有难度。
作为开放天下游戏，它的初始天下完备随机天生，而迅速合成钻石又须要比较繁芜的步骤：既不能只用一种工具，也不能“一挖到底”。
常日来说，从0开始挖钻石最快的方法，分为7个步骤。
第一步，玩家在空手进入《我的天下》中时，须要先找到树上的木头，用来获取木块：
第二步，将这些木块用来合成事情台：
第三步，在事情台上合成木镐，用来挖石砖：
第四步，得到石砖之后，须要合成一个石镐，用来快速挖铁矿：
第五步，为了将铁矿合成铁锭，还须要做一个熔炉来烧铁：
第六步，合成铁镐，用来挖出钻石：
第七步，探求钻石，并用铁镐来挖出终极的钻石：
看到这里，就知道挖矿对付AI来说，已经很繁芜了，不仅面临大量决策，还须要考虑韶光问题。
另一方面，为了增加难度，举办方还特意给“AI矿工”们增加了不少限定。
禁止参赛者编写规则、游戏环境将背包信息与动作空间加密、不许可利用预演习模型、AI与环境交互不超过800万次、只能利用6核CPU+半张NVIDIA K80显卡演习4天……
当然，这样做是为了让各大高校的学生也有能力参与这次寻衅赛，不至于涌现硬件上“武备竞赛”的问题。
面对来自游戏和举办方的“寻衅”，腾讯的绝悟AI是如何成为一名精良矿工的？
如何让AI更快地挖矿？首先，是整体演习策略的问题。
要想让AI在短韶光、少算力的情形下变得会挖矿，首先就要改变演习策略。
这种情形下，不可能再用强化学习对AI进行整体演习。
因此，腾讯AI Lab将强化学习进行了“升级”，提出了一种基于分层强化学习 （Hierarchical Reinforcement Learning）的方法。
大略来说，便是将挖出钻石的过程像人一样分成几个详细的步骤，每个步骤都有一个“小目标”，让AI在完成一个目标后，能迅速地履行下一个目标。
然后，便是三个细节上的问题了。
其一，开放舆图的理解问题。
由于表示学习在《我的天下》这样的3D场景中效果很差，腾讯AI Lab设计了一种基于动作感知的算法，来捕捉每个动为难刁难环境的影响。
这种方法快速地提升了AI在开放天下中获取资源的速率。
其二，策略选择问题。
在游戏进行到一定阶段后，AI与人的思路会发生一些差异，仅凭人类数据演习，对AI的提升浸染有限。
为此，腾讯AI Lab采取了自模拟学习的算法，从自己的实践中得到教训和履历，来降落进入危险区域、做出错误决策的概率。
其三，合成物品问题。
合成物品对付人类来说非常大略，然而AI却总是不随意马虎合成它，成功率一开始乃至只有35%旁边。
为此，腾讯AI Lab采取了动作序列同等性过滤（Consistency Filtering）+基于投票的集成学习（Ensemble Learning）方法，终极将合成物品的成功率提升到96%。
终极在评分中，绝悟AI的分数达到了76.97分。
事实上，在游戏AI上一起向前的“绝悟”，已经历了数次进化。
从最初占领Atari游戏开始，到后来的棋牌游戏AI“绝艺”，节制一手围棋、象棋、麻将的绝活。
再到现在的策略协作型AI“绝悟”，从MOBA、FPS再到开放天下游戏《我的天下》，这个基于强化学习演习的智能体正在变得愈发繁芜。
这次的《我的天下》版绝悟AI论文也已经放出，感兴趣的小伙伴可以冲了~
《我的天下》版绝悟AI论文地址：https://arxiv.org/abs/2112.04907
参考链接：[1]https://www.youtube.com/watch?v=CnKJgA93hyY[2]https://www.aicrowd.com/challenges/neurips-2021-minerl-diamond-competition#team[3]https://www.aicrowd.com/challenges/neurips-2021-minerl-diamond-competition/leaderboards?challenge_round_id=956
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态