量子位 出品 | "大众年夜众号 QbitAI
称霸德州扑克赛场的赌神Libratus，是今年最瞩目的AI明星之一。
刚刚，《科学》最新发布的预印版论文，详细解读了AI赌神背后系统的全貌。此前的NIPS 2017大会上，最佳论文就颁给了Libratus团队，不过那篇会议论文只是重点讲述这个德扑AI中的子博弈求解算法。
在最新论文Superhuman AI for heads-up no-limit poker: Libratus beats top professionals中，卡内基梅隆大学（CMU）的博士生Noam Brown和教授Tuomas Sandholm，详细先容了德扑AI如何通过将游戏分解为可打算、可管理的部分，来实现超越人类的表现，而且AI还能根据对手情形，改动潜在的计策弱点。
Libratus所用到的技能既不须要领域专家知识，也没有利用人类数据，乃至不是专门为扑克设计的。换句话说，这些技能适用于多种不完美信息博弈。
不完美博弈正是德扑的一个紧张特色。围棋、国际象棋、跳棋等棋类游戏，属于完美信息博弈，对战的双方，清楚每一时候局势上的全部情形。比较之下，德州扑克存在大量的隐蔽信息，包括：对手持有什么牌，对手是否在诈唬？
详解Libratus据最新论文先容，Libratus紧张包括三个模块。
第一个模块卖力对牌面进行简化打算，将包含10161种情形的一对一无限注德扑抽象成一个比较大略的博弈。然后，这个模块为前两轮制订详细的策略，并为后两轮制订一个粗略的策略。这个抽象简化版博弈的办理方法称为蓝图策略（blueprint strategy）。
这种抽象表示在两个方面，一是下注金额上，二是牌面上。
不才注金额上，100美元和101美元实在险些没有差别，因此，算法可以对不到100美元的差异进行四舍五入。同时，将类似的牌面视为同一类，也能降落打算的繁芜度。
须要解释的是，Libratus在后两轮游戏中并不会按照抽象版的办理方法来玩，蓝图策略在这两轮中的浸染，只是用来估算玩家在子游戏中每一首牌该当得到的褒奖，然后参考这个估算值，在真正的牌局中做出更精确的策略。
这个“更精确的策略”，也便是第二个模块：嵌套安全子博弈求解(Nested safe subgame solving)。在博弈后期，这个模块会基于当前的牌面，构建一个全新的、更风雅的抽象，而且对这个子博弈的策略进行实时打算。
△ Subgame solving
上图是Libratus的子博弈求解过程。顶部表示在对局过程中涌现了一个子博弈，中间部分表示算法为这个子博弈制订了更详细的策略，每次迭代中，对手随机发放一手牌，可选的期望值可能来自旧的抽象（赤色），也可以来悛改的、更风雅的抽象（绿色）。如果期望值来悛改的抽象，两个玩家的策略都会改变。这就迫使Libratus制订更风雅的策略。上图底部表示用新的策略替代旧策略。
△ nested subgame solving图解
Libratus的子博弈策略打算和那些完美信息博弈不太一样，它须要确保这些子博弈的风雅办理方法与全体博弈的大蓝图策略不冲突，而不能孤立地办理它。
第三个模块的意义，是随着比赛的进行，改进自身的蓝图策略。Sandholm教授表示，常日AI利用机器学习来创造对手的计策缺点并加以利用。但这也会让AI暴露自身的弱点，并被对手加以利用。
不同之处在于，Libratus的自我改进模块剖析对手赌注大小，以检测自身蓝图计策中潜在的漏洞，然后填补自身的不敷之处。
在与人类高手对战之前，Sandholm和Brown为了测试Libratus中所用的各项技能，先用简化版的扑克对整体流程进行了测试，然后把AI用到了完全版的一对一无限注德州扑克上，和他们自己之前开拓的Baby Tartanian8进行比赛。
2016年，Baby Tartanian8曾经赢得电脑德扑大赛冠军，不过Libratus以63±28大盲注/千手(mbb/hand)的战绩击败了它。
“我们研发的技能在很大程度上是独立于领域的，因此可以运用于其他不完美信息策略运用，不仅限于游戏领域”，Sandholm和Brown总结说：现实天下的计策交手中，隐蔽信息无处不在，Libratus引入的范式对AI未来的发展和引用至关主要。
目前，这项技能已经授权给Sandholm创办的公司。
论文地址
http://science.sciencemag.org/content/early/2017/12/15/science.aao1733
独家对话今年3月，量子位前往CMU专程拜访过Sandholm和Brown。当时，他们就曾谈及Libratus的理念，包括三个模块的设计思路。
这里也把量子位之前宣布的内容摘录如下。
无师自通
在德扑这件事上，Libratus没有师父。
Sandholm和Brown只见告AI基本的德州扑克规则，然后Libratus就开始通过“旁边手互搏”的办法学习这个扑克游戏。和AlphaGo不同，在人机大战之前Libratus没有研究过人类如何打德州扑克，也没有和人类职业玩家有过比武。
在投入实战之前，Libratus自己对战了几百万手牌，个中有不少是带有特定目的的残局，真正机器和机器之间的比武，大约是几十万手。
以是，AI形成了一种与人类迥然不同的牌风。
“在德扑比赛中，顶级高手会考试测验探求对手的弱点，并展开攻击”，创新工场AI工程院技能VP李天放说。李天放既有技能背景，也是一名德扑高手。
Dong Kim是今年1月德扑人机大战中的一位人类选手，这位28岁的韩裔美国人回顾说，每一天Libratus都会进步，人类选手很难找到它的弱点或漏洞。即便找到一个，第二天就会消逝不见。这让他感到绝望。
但大概他根本就觉得错了。“有人类玩家说找到了漏洞，实在不一定”，Brown对量子位说：“这可能是Libratus的一种战术，去搅乱对手的策略”。
△ Brown身后是他的电脑
不能用人类的思维去衡量AI。让Sandholm影象犹新的是，1月的德扑人机大战进行到尾声，当时AI早已遥遥领先，所有人都认为Libratus会趋近于守旧。
“但它反而越来越激进”，Sandholm说特殊是末了几局，非常出人意料。
比方，为了一个很小的底池推了All in，或者下注额只有底池的十分之一。“有时候Libratus的策略会被认为是臭手”，但事后复盘Sandholm说这个德扑AI考试测验了很多令人叫绝的方法，个中包括各种策略的诈唬。
诈唬也不是人教的，而是机器自己学会的。
怎么学？“诈唬是特殊主要的技能，系统在学习中创造，如果有一手烂牌，直接诈唬能赢更多，以是它就学会了”，Brown见告量子位。
“这便是AI特殊奇妙的地方”，Brown坐在自己CMU标配的上一代Aeron座椅上说，“很多人看到Libratus能诈唬，以为很了不起”，但在这位博士的眼中，诈唬这种看似与生理有关的人类技能，机器是可以通过算法学会的。
三个模块
为什么Libratus能比前代更厉害，进步在何处？Brown举了两个例子。
比如，对付K-High Flush(最大牌为K的同花)和Q-High Flush(最大牌为Q的同花)，这两手牌对付Claudico来说是等值的，而Libratus则会做一个精确的区分。实际上，Libratus会对每一手牌进行单独的处理，根据不同的牌面订定出不同的计策。
再比如，对付250元的下注，是当成200元还是300元来打算？那么249或者251呢？实际上，Libratus不会考试测验聚类，而是立时实时打算，得出胜算最大的策略。
△ Sandholm讲解冷扑大师
Sandholm则从全局的角度，打开Libratus的大脑，向量子位逐一讲解了构成这个扑克AI的三个紧张模块。个中一个用于赛前，两个用于赛中。
模块一：Nash equilibrium approximation before competition(赛前纳什均衡近似)
这个模块把最主要的博弈信息进行抽取，比如针对某一手牌对应的计策，然后再运用强化学习等方法，连续寻求提高和改进。这里利用了一个新的算法：蒙特卡洛反事实遗憾最小化。在这个模型的帮助下，Libratus自己学会了德扑，而且比以前速率更快。
模块二：Endgame solving(残局解算)
这是Libratus最主要的部分，Sandholm说。实际上Claudico也有这个模块，但那个版本险些不起浸染。而新的版本不会再给对手留下漏洞，这个过程不断进行，对手新出一招后，会连续展开新的残局解算，这被称为Nested Endgame Solving。
德扑这类不完美信息博弈，不能拆解为可以独立办理的子博弈。以是Libratus采取的残局解算的方法应对，想进一步穷究，可以查看Brown和Sandholm的论文。
模块三：Continual self-improvement(持续自我强化)
比赛中人类高手会探求Libratus的漏洞，并展开有针对性的攻击。这个模块的浸染便是创造问题所在，找到更多细节进行自我强化，然后得到一个更好的纳什均衡。
“三个模块都用了新的算法”，Sandholm说第一个模块的新算法能够抽取更多的细节，而且比原来的算法更快；第二个模块的算法是全新的；而第三个模块则有一个全新的理念，有点类似于：防守是最好的进攻。
Libratus不再寻求创造并利用人类对手的漏洞，相反，这个AI开始不雅观察人类创造了它什么弱点，然后有针对性的填补和提升。于是Libratus的弱点越来越少，直到人类玩家沮丧的创造，想要赢下比赛变成一件险些不可能完成的任务。
不主动进攻就很少露出马脚，李天放说跟Libratus对战就像打一堵墙，最好的结果可能便是打个平手，基本不可能得胜。纳什均衡本身，追求的便是一种平衡。
Libratus是一个防守大师。
深度学习不是唯一
与围棋大师AlphaGo比较，Libratus有很多不同之处。个中就包括：Libratus并没有利用目前相称火热的深度学习技能。
“深度学习是个非常好的技能，但我们没有在这个项目运用，是由于深度学习不能给出绝对的担保。比方识别猫的图像，对付给定的图片能得出95%是猫，但也不是绝对的担保，而我们的算法，能够担保最精良的结果”，Sandholm说。
当然也有团队在用深度学习来搞德扑AI。
来自加拿大阿尔伯塔大学、捷克布拉格查理大学和捷克理工大学的研究职员，基于深度学习技能开拓出德州扑克人工智能DeepStack。
对付两个德扑AI来说，还没有更好的比较方法，目前只能说Libratus击败的对手，要比DeepStack的对手水平更高。其他这里不展开谈论了，这个团队也揭橥了干系的论文。
“对这一类型的任务，我们的方案比深度学习更好”，Sandholm对量子位表示，目前深度学习的方案实际上没有办理问题，而Libratus这个别系“韶光越长，越能靠近完美”。
对付这个问题，我们讯问了CMU机器学习系的邢波教授，他指出还不应过早的下结论说：深度学习便是机器学习的未来。
“Sandholm教授实在不是做深度学习的，他用的方法实际上被认为是是传统的AI，但是可以达到这么强大的功能”，邢波对量子位表示这是一个有力的证明：人工智能并不即是深度学习，很多新的方法须要探索和理解。
Libratus战绩回顾今年1月，在匹兹堡河流赌场举办了一场为期20天的Brains vs. AI比赛，Libratus在一对一、无限注的德扑人机大战中，击败四位顶级人类玩家，累计赢得176.6万美元筹码。按照德扑的术语，Libratus与人类高手的差距是147大盲注/千手(mbb/hand)，也便是场均14.7个大盲注。
今年4月，创新工场董事长兼CEO、创新工场人工智能工程院院长李开复，约请Libratus和团队来到中国，以“冷扑大师”之名与“龙之队”展开对决。
这场为期五天的对决中，冷扑大师以领先792327记分牌、每百手领先15.8大盲注的成绩击败人类对手。赢得200万奖金。
当时李开复表示，AI在征服了以不完美信息博弈为内核的德州扑克后，AI在游戏领域比人类更强已经没有任何悬念了。人机大战的结果证明AI比我们想象中来的更快，接下来要关注的该当便是AI在商业、医疗等领域的运用。
— 完 —
诚挚招聘
量子位正在招募编辑/，事情地点在北京中关村落。期待有才华、有激情亲切的同学加入我们！
干系细节，请在量子位"大众号(QbitAI)对话界面，回答“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技能和产品新动态