量子位 宣布 | 公众年夜众号 QbitAI
AI编故事，一模更比一模秀。
这里“一模”，自然是OpenAI横空出世的GPT-2。但今日更秀的另一模型，来自Salesforce——环球最大的SaaS供应商，虽然之前AI能力展露不多，但这一次，绝对一鸣惊人。
作家知道会沉默，评论水军看了要堕泪。由于定向化编故事、天生文案评论的能力，实在太强了！
话不多说，直接看“作品”。
定向化编故事，真假难辨
给它一把刀，它编出了这样的“胆怯故事”：
刀柄从洞里拔了出来。当刀击中我时，我吓了一跳，惊骇地睁大了眼睛。除了呜咽声，我只听到她的尖叫声。
蜘蛛准备挖她上面的拱顶时，碰到了她的脚，小家伙的眼泪开始流下来。蜘蛛举头看着她，回望着我，眼里充满了热泪。我的心开始狂跳……
有情景、有逻辑、有细节，还有故事性，写作功力切实其实职业作家水平。
还能编出“买家好评”：
刀是一种工具，这个很好用。这是我买给我丈夫的。他拿到它们之后就一贯用它们来切肉。
他说它们很锋利，以是利用时要小心，但这彷佛不是什么大问题。从鸡胸肉到牛里脊肉，他都切过……
比较无脑好评的水军，AI给出的结果很难想象是机器写的，核心信息点、细节，全都有了。
但写得好、写得真假难辨，还不是重点！
更关键的是，这个模型的独特之处——只须要给出条件，它就能“定向”编故事，写命题作文，指哪打哪，想写什么风格就写什么风格。
与脑洞过于天马行空的GPT-2比较，它更能够被人驯服利用。
于是模型放出后，很快就引起了业内人士的关注。也有人给出评价：
这太酷了！
能够以更构造化的办法掌握文本天生非常有代价。
而且，这个NLP模型具有16亿参数，比之前最大的GPT-2还要多一个亿。
虽然同样担心模型被滥用，但在研究职员看来，开放可能会更好，能让更多的人参与进来，一起抵抗。
以是，他们直接在GitHub上放出了多个全尺寸的、经由演习的 CTRL 版本。而不是像GPT-2一样，挤牙膏开源。
而且，它还是个全能选手，不仅能编故事，比如在Reddit论坛健身、理财板块揭橥不同的评论。
它还有很多正经用场：编写维基百科词条、回答各种知识问题、翻译笔墨等等。
那么这是一个若何的NLP模型？
16亿参数的措辞模型
这个模型，有一个非常有“灵性”的名字：CTRL，全称为Conditional Transformer Language，基于条件的Transformer措辞模型。
自从有了Transformer，文本天生领域的大前辈就一个接着一个，这厢BERT首创先河，那厢GPT-2都能写论文了。
但是，与人类的创作方法不同，天生的文本再以假乱真，措辞模型前辈们也不能按照特定的主题来写作内容。
于是，CTRL出身了。
这是一个拥有多达16亿参数的条件Transformer措辞模型（GPT-2模型参数15亿），采取无监督学习，并且正如其名，能够对文本天生的内容进行更精准的掌握。
比如给出一个商批驳分：1.0。
GPT-2天生的内容是这样的：
而CTRL，会天生这样的结果：
我为我儿子买了这个，他是这个节目的虔诚粉丝。在拿到它之前，他非常期待。但当他打开它时，我们都非常失落望。产品质量太差了。它看起来就像是一元店里的东西。
这玩意儿状况很差。前盖上有几处划痕以及其他一些轻微磨损……
实现的关键，在于掌握代码（control codes）。
CTRL以掌握代码c为条件，学习分布 p ( x | c )。这一分布可以用概率链规则分解，并通过考虑掌握代码的丢失来进行演习。
掌握代码能利用户意图为措辞模型所理解。
通过标注演习数据集的特定标签，CTRL模型中大部分掌握代码能指定天生文本的整体样式。
纵然给出的提示（prompt）相同，掌握代码大概可天生多样化的内容。并且，就算不给提示，CTRL一样能天生特定风格的文本。
△在有掌握代码的情形下，开头也不用给
而将掌握代码添加到标签代码中，可以进一步限定天生。
比如在OpenWebText版本中，在每一个文档后面加入URL地址，作为输入序列的开头。
这样，CTRL在演习过程中，就会学习这些URL的构造和文本之间的关系。在推理过程中，URL可以指定各种功能，包括域，子域，实体，实体关系，乃至日期。
除此之外，还有一小部分掌握代码是与问答、翻译这样的特界说务干系的。这些掌握代码相对繁芜。
好玩的是，稠浊掌握代码会产生一些故意思的文本。
比如把翻译掌握代码稠浊到饮食这个标签中，天生的文本就拥有了两种不同措辞的版本：
再比如说把政治和法语提示混到一起：
这些组合，在此前的演习中都没有涌现过。
值得一提的是，CTRL的演习文本数据多达140GB，包括维基百科，Gutenberg上的书本，OpenWebText2数据集（GPT-2网页文本数据集克隆版），大量新闻数据集，亚马逊评价，来自ELI5的问答，以及包括斯坦福问答数据集在内的MRQA共享任务等等等等。
数据集虽然没有开源，但Salesforce表示，他们会发布与数据网络干系的代码。
以及，由于掌握代码和用于演习模型的文本之间存在直接关系，CTRL能判断出新文本天生时对其影响最大的数据源是哪一个。
环球最大的SaaS做事供应商出品
这篇论文来自Salesforce——环球最大的SaaS做事供应商。
最近最为人关注的是一次大规模商业并购：豪掷157亿美元收购大数据公司Tableau。
Salesforce Research是其内部的研究部门，核心目标是用AI来办理业务中的问题，已经在NLP领域颇有建树。
目前，这一部门由Salesforce的首席科学家Richard Socher领导。
他博士毕业于斯坦福大学打算机系。2016年，自己创办的公司被Salesforce收购后，加入Salesforce。
根据他个人网站信息，仅在2019年他就发布了11篇顶会论文，个中ACL 2019 3篇；ICLR 2019 6篇；CVPR 2019 1篇；ICML 2019 3篇。
他也是这篇论文的作者之一。这篇论文的其他作者，都是Salesforce Research的研究员。第一作者有两位，分别是Nitish Shirish Keskar和Bryan McCann。
个中，Nitish Shirish Keskar是Salesforce的高等研究员，博士毕业于西北大学，研究方向为深度学习及其在自然措辞处理和打算机视觉方面的运用。他的个人页面显示，已经揭橥了14篇论文，个中不乏ICLR等顶会。
Bryan McCann也是Salesforce高等研究员，毕业于斯坦福大学，曾经担当过吴恩达机器学习课程的助理，研究方向是深度学习及其在自然措辞处理方面的运用。个人网站显示，他揭橥过7篇论文，不乏ACL、NeurIPS、EMNLP等AI顶会。
引发参数热议
这一研究成果，也引起了大家对模型参数的谈论。
有人说，15亿参数也好，16亿参数也罢，假如英伟达的Megatron放出来，80亿参数肯定都通通碾压。
但也有人给出冷思考，表示参数很多并不是优点，而是一个弱点。阿姆斯特丹大学的助理教授Willem Zuidema说：
为什么规模大是一个卖点？我理解人们为建立了一个非常好的模型而自满，乃至为找到了在有限的打算资源上演习大型模型的方法而自满。
但在我看来，16亿参数本身彷佛是一个弱点，而不是上风。
对此，Richard Socher也给出了回应：
确实，假设性能相同，较小的模型更好。但事实证明，只要你在大量的演习数据上演习它，措辞模型的性能和影象事实的能力与大小是密切干系的。
Jelle Zuidema再度回应，给出了进一步的阐明：
令我惊异的是，“最大”是声明中的第一个形容词，而“高质量”只是末了一点。
我认为有必要提醒人们，空想的方法仍旧是更少的参数、更少的培训和更好的性能。
你怎么看？
传送门
末了，如果你对这个研究感兴趣，请收好传送门：
项目地址：
https://github.com/salesforce/ctrl
论文地址：
https://einstein.ai/presentations/ctrl.pdf
博客文章：
https://blog.einstein.ai/introducing-a-conditional-transformer-language-model-for-controllable-generation/
— 完 —
诚挚招聘
量子位正在招募编辑/，事情地点在北京中关村落。期待有才华、有激情亲切的同学加入我们！
干系细节，请在量子位"大众号(QbitAI)对话界面，回答“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技能和产品新动态