难得的元旦小假期，没有什么比得上在慵
厉害不，毕竟当年DD也是王者五十星的水平，哈哈。
不过哪怕是我这样的王者，在去年也被腾讯上线的超强电脑AI绝悟虐的不轻。记得当时有朋友来找我，说是腾讯上线了一个绝悟寻衅模式，里面的电脑AI和以往被我们拿来练闇练度的电脑比较，切实其实便是天悬地隔，一关比一关难，听说连一些职业选手组成的车队都翻车了。
听的那么玄乎，头硬的我自然不会轻信，然后随后的几天中，果不其然被绝悟虐的生活不可自理，末了还是灰溜溜的靠着网上流传的“大乔-米莱蒂”传送偷家套路才勉强过关。
一边回顾着被绝悟惨虐的经历一边浏览着最近的新闻，溘然眼中爆射出一道惊芒，中国足球天下杯夺冠了！
你没有看错，的确是中国足球天下杯夺冠了，但是夺冠的并非传统意义上的男足女足，而是由我们曾经熟习的绝悟进化之后重生的足球AI-WeKick！
WeKick夺冠的是首届谷歌足球Kaggle竞赛，参赛军队多达1138支，可以说是代表了目前地球上最顶尖的足球AI比赛，称之为足球AI天下杯也不为过。
而在所有参赛军队中，WeKick的得分高达1785.8分，霸占绝对上风地位，就像96年的公牛、02年的巴西一样，势不可挡！
不可置信？再给你看下精彩集锦！
快、准、直！
一记完美的长传后，直射球门！
连续打破重围，轻松传球 4 次。
有些人可能不以为然，以为之前绝悟在王者光彩的表现，用去踢足球，也是很大略的。
实在不然，首先王者光彩是一个5V5的游戏，而足球是一个11v11的运动，便是说AI须要掌握的智能体（球员）个数多了一倍以上，其次足球赛虽也属于即时策略型游戏，但也须要AI具备长线思考、快速决策、处理繁芜环境的能力。AI须要考虑到每个球员的速率、加速度、射门、头球、传球、防守等各种指数，同时还须要操控球员之间进行频繁的相互合营，也须要时候不雅观察对手球员的行为，戒备于未然，做出最好的选择！
针对这些不同的情形，WeKick团队发挥想象，紧张利用了以下三个创新进行针对性的模型演习。
Self-Play强化学习框架
WeKick团队采取Self-Play（自博弈）强化学习来从零开始演习模型，并以此支配到异步分布式的强化学习框架中。异步架构捐躯了一部分演习的实时性能，但是相应的，得到了更高的灵巧性，同时可以支持在演习过程中按实际须要调度全体打算资源，使其能快速完美的适应智能体人数更多的足球游戏演习环境。
GAIL天生对抗仿照学习
王者光彩是一款对抗类的MOBA游戏，其终极目的和足球游戏迥然不同，WeKick团队采取了GAIL（天生对抗仿照学习）与人工设计的褒奖结合的办法，在特色与褒奖设计上进行了扩展和创新。
利用这个方案，WeKick可以从其它球队学习，拟合专家行为的状态和动作分布，再将GAIL演习的模型作为固定对手进行进一步Self-Play演习，进一步提升策略的稳健性。
League多风格强化学习
上述的Self-Play强化学习方案，有一个尚未办理的缺憾，便是通过这个方案得到的模型很随意马虎形成单一的风格。用足球比赛的说法便是打法一成不变，很随意马虎被针对或遇上天生克制的阵型就不知所措。为理解决这个问题，WeKick团队采取了针对多智能体学习任务的 League（多少策略池）多风格强化学习演习方案，提升策略的多样性。
这种League多风格强化学习演习方案的紧张流程，用一句话阐明便是 由简入繁！
根据其内部能力评分系统显示，这种算法下的主模型，可以在根本模型的根本长进步200分，比最强的风格化打法高80分！
末了先容下谷歌足球Kaggle竞赛
Kaggle创立于2010年，是环球最大的数据科学社区和数据科学竞赛平台。本届比赛是Kaggle首次针对足球AI领域发布的赛题。
由于足球运动团队策略哀求在变化多端的赛场上，做出最精确的团队协作、实时决策和竞争策略，个中的难点，一贯是困扰天下顶尖AI研究团队的难题。就像前文提到的，从绝悟进化到WeKick，掌握的智能体各数从5v5提高到11v11，这中间强化学习的难度将随着智能体个数的增长呈现指数级的爆炸增长。
实在早在参加这个比赛之前，绝悟的开拓团队早已经从足球比赛中的单个智能体掌握转向多智能体同时掌握、协同作战深入的研究方向。在先前参加的5v5形式的谷歌天梯比赛 Google Research Football League 中，绝悟已经赢得过冠军，这次可以说是再度升级版的夺冠。
从最早的围棋AI绝艺，到王者光彩的MOBA游戏AI绝悟，再到如今的足球AI-WeKick，腾讯在人工智能的深度强化学习程度正在步步进化，未来很有可能利用于其他更广泛的行业中，真正做到人工智能为人类做事。
而此刻的我，只想什么时候能有机会和这个WeKick踢上（被虐）几场比赛，你也想和他过过招吗？