【新智元导读】CMU和Facebook联合打造了史上最强德州扑克AI，自对战零出发点演习8天，在人机大混战吊打了各路职业牌手。这款名为Pluribus的AI重点办理了多人对局环境下的非零和博弈和隐蔽信息推理问题，演习本钱仅150美元。
AI又完成了一项“里程碑式”的寻衅。
一款名叫“Pluribus”的AI扑克牌机器人在六人无限制德州扑克这项繁芜游戏中，碾压了人类职业选手！
——这是AI机器人首次在规模超过两人的繁芜对局中击败顶级人类玩家。
这样的一项研究，你肯定会认为演习花费的本钱会非常大，对吧？
但是！
正好相反！
划重点：
Pluribus的蓝图策略在64核CPU的做事器上演习了8天，利用512 GB的RAM，没有利用GPU。在一样平常的云打算实例价格下，演习用度不到150美元！
这与其他最近的AI打破性成果形成光鲜比拟，个中包括那些涉及游戏中自对战的打破，演习本钱动辄就须要几百万美元。
许多网友们纷纭感慨：“原来小资源的研究也能推动人工智能研究大步向前发展”。这项研究让人们对如何构建通用的人工智能有了更好的根本理解。
这项研究是由卡耐基梅隆大学与Facebook人工智能团队共同互助完成。目前，各大顶级期刊和有名媒体都在猖獗刷屏宣布：
https://www.nature.com/articles/d41586-019-02156-9
https://science.sciencemag.org/content/early/2019/07/10/science.aay2400
https://www.techmeme.com/
那么这款德州扑克AI到底为何如此厉害？新智元带你逐步揭秘。
Pluribus：面向“隐蔽信息”更新算法，降服职业牌手几十年来，德州扑克一贯是人工智能领域最难以占领的重大问题之一。由于扑克对局涉及“隐蔽信息”。你不知道对手的牌是什么，要想在牌局中得胜，须要成功利用bluff和其他多种策略，这些策略并不适用于国际象棋、围棋等对局。这使得德州扑克成为AI难以占领的堡垒之一。
近年来随着技能的进步，AI在1V1德州扑克对局中，已经能击败顶级人类玩家。但如何开拓出能够在1对多的牌局中降服顶级玩家的AI，仍是研究职员不断努力的目标。
Pluribus是Facebook与卡内基梅隆大学互助开拓的新型AI机器人，它成功实现了这一目标，击败了德州扑克精英人类玩家：比赛采取六人无限制德州扑克。Pluribus在“五个AI和一个人类玩家”和“一个AI 和五个人类玩家”的比赛中都击败了人类职业玩家。
在每个筹码代价1美元的假设下，Pluribus每手牌均匀能赢5美元，在与五名职业玩家的对战中，每小时能赢 1000美元。可以说是取得了决定性胜利。
Pluribus在此前的德州扑克AI Libratus的根本上进行了几项创新，实现了这一成果，Libratus是2017年在双人无限注德州扑克中击败人类职业选手的AI，我们还借助了Tuomas Sandholm在卡内基梅隆大学研究实验室开拓的其他算法和代码。
特殊是，Pluribus采取了一种新的在线搜索算法，可以通过前面的几个步骤而不是仅仅搜索到游戏结束来有效地评估策略选择。Pluribus还针对涉及“隐蔽信息”的对战利用新的、更快的自对弈算法。AI只需非常少的处理能力和内存就能进行演习，只需代价不到150美元的云打算资源。这种高效率与近期其他扑克AI项目形成光鲜比拟，后者每每须要代价数百万美元的打算资源才能进行演习。
上面的视频中展示了Pluribus 在对阵几位职业玩家时采取的牌局策略。(牌面已公开展示)
这些创新在德州扑克以外的领域也具有主要意义，由于双人零和博弈（一个玩家赢了，另一个玩家就要输）在休闲游戏中很常见，但在现实生活中非常罕见。而在真实场景中，比如对有害内容采纳行动，应对网络安全寻衅，以及管理在线拍卖、导航流量，这些行为常日涉及多个参与者，并涉及隐蔽信息。我们的成果表明，AI算法可以在双人零和博弈领域之外，也达到超过人类的表现。
来自职业牌手的赞誉：和AI打牌压力山大“与Pluribus比赛最激动的事便是应对其在翻牌前采纳的繁芜策略。与人类不同，Pluribus在翻牌前会多次加注。这与人类对局的风格完备不同，很故意思。”
Seth Davies，职业扑克选手
“我很高兴能够与机器人对战，这是一种独特的学习体验。我认为机器人玩得非常稳。当我的手牌不强时，AI总能逼我做困难的决定，而且AI在拥有强手牌时总能赢到钱，AI做的很俊秀，这是一个有趣的寻衅，我很高兴再次与它对战。”
Trevor Savage，职业扑克选手
“Pluribus是一个非常努力的对手，任何手牌你都很难压倒它。AI非常长于在河牌轮下小注。非常善于在手握好牌时只管即便多赢。”
Cris Ferguson，WSOP冠军
“这个AI便是个bluff怪物。我以为它频年夜多数人更有效率。你和它对战总能觉得到很大压力，你知道它随时可能在bluff。”
Jason Les，职业扑克选手
“每当和机器人玩牌时，我会选择一些新的策略。作为人类，我认为我们方向于为自己过度简化对局，让对局策略更易于利用和影象，更方向于走捷径。机器人就不会走这种捷径，它的每个决定背后都有一个极其繁芜而平衡的策略树。”
Jimmy Chou，职业扑克玩家
“能与机器人对战，并看到它选择的一些策略真的令人难以置信。AI是德州扑克发展过程中的一个主要组成部分，在面向未来的这一大步中得到第一手履历真是太棒了。”
Michael Gagliano，职业扑克玩家
从双人对战到六人混战，产生了哪些新问题？六人的德州扑克对战与之前的二人对战的AI基准测试比较，多了两个紧张寻衅。
一、不再只是双人零和博弈
此前，所有取得打破的AI仅限于那些只有两名玩家或两支球队参加的零和博弈对局（如跳棋，国际象棋，围棋、双人德州扑克，星际争霸2和Dota 2等）。
在这些对局中，AI可以采取一种称为“纳什均衡”的策略。在双人和双队的零和博弈中，无论对手做什么，只要采取足够精确的纳什均衡策略，就能担保不输。（例如，“石头剪刀布”的纳什均衡策略因此相同的概率随机出石头、布或剪刀。）
只管在任何有限定的对战中都会存在纳什均衡，但在三个或更多玩家参与的游戏中，纳什均衡难以有效打算。此外，在有两个以上玩家参与的游戏中，纵然在精确的纳什均衡策略下，有时也无法避免失落败。
在六人制德州扑克中，目标不应该是确定特定的博弈论办理方案的观点，而是创建一个从长远来看，可以凭履历击败人类对手的AI。对付AI机器人来说，这常日被认为是“超人”的表现。
我们用来构建Pluribus的算法并不能担保在双人零和博弈之外的领域收敛到纳什均衡。只管如此，Pluribus在六人德州扑克中采取的策略始终能击败精英专业玩家，因此这些算法能够在超级玩家零和游戏之外的更广泛的场景中产生超人策略。
二、要面对繁芜环境下的“隐蔽信息”
没有其他游戏像扑克一样表示“隐蔽信息”的寻衅，每个玩家都拥有其他玩家所缺少的信息（手牌）。一个成功的AI必须会推理这个隐蔽信息，并仔细平衡策略，以保持对自身信息的不可预测，同时仍旧采纳良好的行动策略。例如，采取bluff偶尔会有效，但总用bluff就会随意马虎被人摸透，可能会导致大量丢失。因此，有必要仔细在“bluff”和“手握大牌下大注”的概率之间取得一个平衡。换句话说，便是令不完备信息博弈中的行动策略，取决于选择某策略和选择其他动作的概率区分上。
而在完备信息博弈中，玩家不必考虑这一点。国际象棋中的妙手便是妙手。但我们不可能将特定德州扑克牌局中的最佳策略与德州扑克的整体策略区分开来。
像Libratus这样的德州扑克AI，结合了基于反事件遗憾最小化（CFR）理论中的合理的自对战算法和精心构建的搜索程序，来应对牌局中的隐蔽信息。对付不完备的信息博弈，牌局中的玩家的增加，会让对局的繁芜性呈现指数级增长。以前的技能无法扩展运用到六人对局中，纵然打算量提升10000倍也弗成。Pluribus利用的新技能，比以前的任何技能更好地应对这一寻衅。
Pluribus对战策略：从零开始自对战，8天演习降服职业高手Pluribus在牌局中策略核心是通过自对战打算出来的，AI自己和自己进行对局，没有任何人类对局的数据作为输入。AI从零开始，一开始是完备是随机行动，随着牌技逐渐提升，学着确定哪些行动更好，确定各种行动的概率分布中哪些可以产生更好的结果。Pluribus利用的自对战版本是迭代蒙特卡罗CFR（MCCFR）算法的改进版。
上面的视频中显示了蒙特卡罗CFR算法通过评估实际和假设行动值，来更新遍历者策略的过程。在Pluribus中，出于优化目的，这种遍历实际上因此深度优先的办法完成的。
此时，探索其他假设的结果是可能的，由于AI正与自己进行对局。如果AI想知道选择了其他一些行动会发生什么事情，那么它只需自问该当如何回该当行动就行了。
在对局中的每个决策点中坚持每个动作的CFR，须要的打算资源比宇宙中原子总数还多。为了降落游戏的繁芜性，我们忽略了一些操作，并通过抽取将类似的决策点放在一起。在抽象之后，划分在一起的决策点被视为相同决策点。
Pluribus经由自对战，输出全体对战中的蓝图策略。在实际对局中，Pluribus利用搜索算法改进了这个蓝图策略。但是，Pluribus并没有根据其不雅观察到的对手的方向来调度策略.
上图显示了在64核CPU演习期间，Pluribus的蓝图策略的改进过程。绩效是根据演习的终极快照来衡量的。
Pluribus的蓝图策略在64核CPU的做事器上演习了8天，利用512 GB的RAM，没有利用GPU。在一样平常的云打算实例价格下，演习用度不到150美元。这与其他最近的AI打破性成果形成光鲜比拟，个中包括那些涉及游戏中自对战的打破，演习本钱一样平常须要几百万美元。由于算法的改进，我们能够在如此低的打算本钱下实现“超人”的表现.
超越人类的一个更有效的搜索策略由于无限制德州扑克的规模和繁芜性，蓝图(blueprint)策略一定是粗粒度的。
在实际游戏中，Pluribus通过实时搜索来确定针对其特定情形下的更好、更细粒度的策略，从而改进了蓝图策略。
目前，我们知道AI已经在许多游戏中大展拳脚，也利用了实时搜索，包括泰西双陆棋(double -ply search)、国际象棋(alpha-beta pruning search)和围棋(Monte Carlo tree search)。
但是，这些搜索方法对不完备信息博弈不起任何浸染，由于它们没有考虑到对手在叶子节点之外转向不同策略的能力。这个弱点就导致搜索策略是非常薄弱且不平衡的，也因此使得AI无法办理这一寻衅。
相反，Pluribus利用了一种方法，在这种方法中，搜索者明确地认为任何或所有玩家都可以在子游戏的叶子节点之外转向不同的策略。
详细而言，研究职员不是假设所有玩家都根据叶子节点之外的单个固定策略进行游戏，而是假设每个玩家可以选择四种不同的策略来玩剩余的到达叶节点时的游戏。
那么这四种策略是什么呢？首先是预先打算的蓝图策略；第二是蓝图策略的修正形式，这个策略倾向于折叠；第三是倾向于调用的蓝图策略；末了一个是倾向于raising的蓝图策略。
这种技能可以让搜索者找到一个更加平衡的策略，从而产生更强的整体性能。若是选了一个不平衡的策略，就会让对手转向其他延续策略，例如，在玩儿石头剪刀布的时候，若是你总出“石头”，对手就会出“布”来应对你。
在不完备信息游戏中，搜索的另一个紧张寻衅是玩家在特定情形下的最佳策略取决于他的对手如何看待他的游戏玩儿法。如果玩家从不“矫揉造作”，那么他的对手就会知道若是一旦下了大赌注，他们就会做出让步。
为了应对这种情形，Pluribus根据自己的策略，用每一只可能的手牌追踪它达到当前状态的概率。
无论Pluribus实际握的是哪张手牌，它都会首先打算每一张可能的手牌会如何行动——小心地在所有的手牌上平衡它的策略，让对手无法预测。一旦打算了所有手牌的这个平衡策略，Pluribus就会为它实际持有的手牌实行一个操作。
在游戏过程当，Pluribus在只2个CPU上运行。比较之下，AlphaGo在2016年与顶级Go专业人士Lee Sedol的比赛中利用1920个CPU和280个GPU进行实时搜索。
Pluribus还利用不到128 GB的内存。Pluribus搜索单个子游戏所花费的韶光在1秒到33秒之间变革，详细取决于详细情形。
均匀而言，Pluribus的速率是范例人类职业选手的两倍：在六人扑克中与自己的副本进行比赛时每手20秒。
Pluribus是如何对抗人类职业选手的？那么，这次与AI对抗的人类职业选手都是谁呢？
2000年天下扑克大赛主赛事冠军Chris \"大众 Jesus \"大众 Ferguson、 2012年天下扑克大赛主赛事冠军Greg Merson以及四次天下扑克巡回赛冠军Darren Elias。
完全的全明星阵容包括：Jimmy Chou、Seth Davies、Michael Gagliano、Anthony Gregg、Dong Kim、Jason Les、Linus Loeliger、Daniel McAulay、Nick Petrangelo、Sean Ruan、Trevor Savage和Jake Toole。
上述每一位职业选手在职业扑克比赛中都赢得了超过100万美元的奖金，个中许多人赢得了超过1000万美元的奖金。
人工智能系统在其他基准游戏中与人类对战时，机器有时一开始表现得很好，但终极由于人类玩家创造了它的漏洞而失落败。
人工智能要想精通一款游戏，纵然人类对手有韶光去适应，它也必须证明自己是能赢的。而这次，在几天的韶光里进行了数千次扑克比赛，给了人类职业选手充足的韶光来探求AI的弱点来适应。
Elias说：“机器人不仅仅是跟普通的职业选手在比赛，而是在和天下上最顶尖的选手作战。”
这是Pluribus和职业玩家在实验中利用的界面
实验有两种形式：
5个人类职业选手与1个AI共同玩儿游戏；1个人类职业选手与5个AI共同玩儿游戏。在每一种情形下，游戏都有六名玩家在参与，每一手开始都有10000个筹码。小盲注是50片，大盲注是100片。
虽然扑克是一种技巧游戏，但也有很大的运气身分。对付顶级专业人士来说，仅仅由于运气不好，就在1万手扑克牌的过程中输掉钱是很常见的。
为了减少运气的身分，实验利用了一种版本的AIVAT方差减少(variance reduction)算法，该算法在保持样本无偏的情形下，对每种情形的值进行基线估计，以降落方差。
5个人类职业选手+1个AI在这个实验中，10000手扑克牌被玩了12天。
每天从专业职员中挑选五名志愿者参与。根据他们的表现，将50000美元的奖金分配给人类专业人士，以勉励他们发挥最佳水平。
在运用AIVAT之后，Pluribus的得胜率估计为每100手（5 bb / 100）约5个大盲注，这被认为是在对战人类精英对手时取得的很好的胜利(盈利，p值为0.021)。
如果每个筹码都值1美元，Pluribus将会赢得均匀每人5美元的奖金，并且每小时可以赚到1000美元。这一结果超过了职业选手在与职业、业余选手的稠浊比赛中得胜的预期。
Ferguson在实验后感慨道：“Pluribus是一个很难搪塞的对手。”
5个AI+1个人类职业选手这个实验是由Ferguson、Elias和Linus Loeliger进行的。 许多人认为Loeliger是六人无限注德州扑克现金游戏中天下上最好的玩家。
每个人玩5000手扑克牌，桌上还有5个Pluribus。Pluribus并没有根据对手的情形调度策略，因此机器人之间的故意勾结不是问题。
总的来说，人类丢失了2.3 bb/100。Elias下跌4.0 bb/100(标准偏差2.2 bb/100)， Ferguson下跌2.5 bb/100(标准偏差2.0 bb/100)， Loeliger下跌0.5 bb/100(标准偏差1.0 bb/100)。
这张图显示了Pluribus在10000手实验中对职业扑克玩家的均匀胜率。直线表示实际结果，虚线表示一个标准差。
Elias说：“它的紧张上风是能够利用稠浊策略，这也是人类试图做的事情。对人类来说，这是一个实行的问题——以一种完备随机的办法，并始终如一地这样做。大多数人便是做不到。”
由于Pluribus的策略完备是在没有任何人类数据的情形下从自我游戏决定的，因此它也供应了一个外部视角，即在多人无限制德州扑克游戏中最优的游戏该当是什么样子。
虽然Pluribus最初考试测验通过自玩离线打算蓝图策略时采取了limping策略，但随着游戏的连续，它逐渐放弃了这一策略。但是Pluribus不同意“民间”的不雅观点，认为donk投注是一个缺点；Pluribus比专业人士更常常采取这样的策略。
Gagliano说：“和扑克机器人比赛，看到它选择的一些策略，真是令人难以置信的美妙。”
这张图显示了Pluribus在与职业选手竞争时的筹码数量。直线表示实际结果，虚线表示一个标准差。
少量资源也推动人工智能发展：Pluribus让通用AI有了更好的理解此前，人工智能在完备信息的双人zero-sum游戏中取得了一系列引人瞩目的成功。但现实天下中的大多数计策互动都涉及隐蔽的信息，而不是两方的zero-sum博弈。
Pluribus的成功表明，在大规模、繁芜的多玩家设置中，只管缺少已知的对性能的强有力的理论担保，但精心布局的自我游戏搜索算法仍旧可以成功。
Pluribus的不同平凡之处还在于，它的演习和运行本钱远低于近期其他用于基准游戏的人工智能系统。
该领域的一些专家担心，未来的人工智能研究将由拥有数百万美元打算资源的大型团队主导。
但是Pluribus是一个强有力的证据，证明了只需少量资源的新方法也可以推动前沿人工智能研究。
只管Pluribus是为玩扑克而开拓的，但所利用的技能并不针对扑克，也不须要开拓任何专业领域知识。
这项研究让人们对如何构建通用的人工智能有了更好的根本理解，它可以处理多智能体环境，既可以处理其他智能体，也可以处理人类，并让人们可以用人类能力的顶峰来衡量这一领域的进展。
当然，在Pluribus中采取的方法可能不会在所有多智能体设置中都成功。
在扑克游戏中，玩家互换和串通的机会是有限的。在构建非常大略的折衷博弈时，现有的自我游戏算法可能无法找到一个好的策略。
然而，许多真实天下的交互——包括涉及敲诈预防、网络安全以及对有害内容采纳行动的交互——可能被建模为涉及隐蔽信息和/或多个智能体的场景，这些智能体之间的通信是有限的。
使Pluribus能够在牌桌上击败多个对手的技能可能有助于AI社区在这些和其他领域开拓有效的策略。
关注新智元和群，获取Science论文原文！