量子位 宣布 | "大众年夜众号 QbitAI

想象一下。

直接说你想干什么，就能天生相应的代码，会是多么“功德无量”一件事。

最直接管益的，便是程序员群体。

北大年夜新研究用CNN生成代码炉石卡牌分分钟变轨范｜论文代码

再也不用饱受“996”的折磨，也不用摸着不断退却撤退的发际线而黯然神伤。

现在，这一天又近了一些。

最近，有一篇论文提出了一种基于语法的构造化CNN代码天生器，用《炉石传说》（HearthStone）基准数据集进行实验的结果表明：

准确性上明显优于以前最前辈的方法5个百分点。

这篇论文目前已经被AAAI 2019收录。
作者在论文中表示，他们是第一个成功地将CNN解码器用于代码天生的团队。

那么问题来了：

将CNN解码器用到代码天生，与之前的方法比较，到底有什么不同？

他们的模型又有什么分外之处？效果到底好在哪？

下面，我们就来逐一回答这些问题。

用CNN解码器天生代码的上风

基于自然措辞描述天生代码，是挺难的一件事。

现在，常日用循环神经网络( RNN)进行序列天生，天生一首诗、进行机器翻译，都没问题。

但用在天生代码上，“麻烦”就来了。

程序中有很多构造化的信息，对程序建模很主要，但传统的Seq2Seq神经网络，并没有明确对程序构造进行建模。
就比如下面这个Python的抽象语法树（AST）。

个中，n3和n6两个节点该当作为父子节点紧密交互，但如果利用传统的Seq2Seq方法，就会导致他们“父子离散”，彼此阔别。

为理解决这个问题，很多人都开始想各种办法。
个中一个关键方法便是用卷积神经网络(CNN)，毕竟人家效率高，演习也大略。

这篇论文，便是一个代表。
而且是第一个成功地将CNN解码器用于代码天生的，颇具分水岭意义。

在论文中，作者也先容说，这比原来的RNN强多了。
最紧张的一点便是：

输入的程序一半都比自然措辞句子长得多，就算RNN有LSTM（long short-term memory）的加持，也会一贯受到依赖性问题的困扰。

而CNN就不一样了，可以通过滑动窗口（slide window）有效地捕捉不同区域的特色。

那，这个模型是怎么设计的呢？

模型设计

论文中先容的CNN，是一种基于语法的构造化CNN。
模型会根据AST的语法构造规则天生代码，而且还能预测语法规则的顺序，终极构建全体程序。

那，他们是如何预测语法规则的呢？紧张基于三种类型的信息：

指定要天生的程序的源序列、之前预测的语法规则和已经天生的部分AST。

第一种很好理解，是编码器的输入。
后两种的任务，便是使解码器能够自回归（autoregressiveness），并且解码器也以编码器为条件。

为了让这个构造化CNN更适宜于代码天生，他们还设计了几个不同的组件：

第一，基于树的卷积思想，在AST构造上运用滑动窗口。
然后，设计另一个CNN模块对部分AST中的节点进行前序遍历。
这两种类型的CNN不仅捕获序列中的“邻居”信息，还捕获树构造中的“邻居”信息。

第二，将另一个CNN模块运用于要天生的节点的先人，让网络知道，在某个步骤中在哪里天生。
从而增强“自回归性”。

第三，设计专门的把稳力机制，将CNN的特色与不同的CNN模块进行交互。
此外，作者表示，在代码天生过程中考虑范围名称(例如，函数和方法名称)是有用的，以是就利用了这样的信息当作几个池层的掌握器。

于是，就得出了这样的一个模型。

△模型概述。
虚线箭头表示把稳力掌握器。

这个模型，效果到底怎么样呢？

模型效果

作者用两个任务评估了模型的效果。
一个是天生《炉石传说》游戏的Python代码，一个是用于语义解析的可实行逻辑形式天生。

天生《炉石传说》的Python代码

这个任务利用的是《炉石传说》基准数据集，一共包括665张不同卡牌。

输入是字段的半构造化描述，例如卡牌名、本钱、攻击、描述和其他属性；

要输出的是实现卡牌功能的Python代码片段。

通过准确性与BLEU分数来丈量模型的质量。
在准确性方面，作者追踪了之前大多数研究相同的方法，根据字符串匹配打算精度(表示为StrAcc )。

有时候，几个天生的程序利用了不同的变量名，但功能是精确的，这就须要人为去调度。
并用Acc +表示人为调度的精度。

末了，用BLEU值评估天生的代码的质量。

结果如下图所示：

在准确性和BLEU分数方面，都优于之前的所有模型。
StrAcc比之前最好的模型赶过了5个百分点。
经由人为调度后的Acc+达到了30.3％，增加了3个百分点，之前的模型最好的效果提高了2%。

作者认为，这显示了他们方法的有效性。
至于之前的模型跟他们的模型在BLEU分数上的相似性，作者阐明道，代码天生还是要看细节。

语义解析任务

在语义解析任务中，利用的两个语义解析数据集( ATIS和JOBS )，个中输入是自然措辞句子。
ATIS的输出是λ演算形式，而对付JOBS，输出的是Prolog形式。

在这两个数据集中，论文中提出的模型并没有展现出什么上风。

作者在论文中表示，这可能是由于语义解析的逻辑形式常日很短，因此，RNN和CNN都可以天生逻辑形式。

不过，这个实验也证明了用CNN进行代码天生的普遍性和灵巧性。
毕竟，全体模型基本上是为长程序设计的，在语义解析方面也很好。

关于作者

按照署名顺序，作者分别为孙泽宇、朱琪豪、牟力立、熊英飞、李戈、张路，个中个中熊英飞为通讯作者。
作者单位为北京大学信息科学技能学院。

传送门

论文：

https://arxiv.org/abs/1811.06837

GitHub：

https://github.com/zysszy/GrammarCNN

— 完 —

诚挚招聘

量子位正在招募编辑/，事情地点在北京中关村落。
期待有才华、有激情亲切的同学加入我们！
干系细节，请在量子位"大众号(QbitAI)对话界面，回答“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技能和产品新动态