量子位 宣布 | 公众年夜众号 QbitAI

AI编故事,一模更比一模秀。

这里“一模”,自然是OpenAI横空出世的GPT-2。
但今日更秀的另一模型,来自Salesforce——环球最大的SaaS供应商,虽然之前AI能力展露不多,但这一次,绝对一鸣惊人。

作家知道会沉默,评论水军看了要堕泪。
由于定向化编故事、天生文案评论的能力,实在太强了!

需求你定编不出来故事算AI输全能AI写作模型开源宣告

话不多说,直接看“作品”。

定向化编故事,真假难辨

给它一把刀,它编出了这样的“胆怯故事”:

刀柄从洞里拔了出来。
当刀击中我时,我吓了一跳,惊骇地睁大了眼睛。
除了呜咽声,我只听到她的尖叫声。

蜘蛛准备挖她上面的拱顶时,碰到了她的脚,小家伙的眼泪开始流下来。
蜘蛛举头看着她,回望着我,眼里充满了热泪。
我的心开始狂跳……

有情景、有逻辑、有细节,还有故事性,写作功力切实其实职业作家水平。

还能编出“买家好评”:

刀是一种工具,这个很好用。
这是我买给我丈夫的。
他拿到它们之后就一贯用它们来切肉。

他说它们很锋利,以是利用时要小心,但这彷佛不是什么大问题。
从鸡胸肉到牛里脊肉,他都切过……

比较无脑好评的水军,AI给出的结果很难想象是机器写的,核心信息点、细节,全都有了。

但写得好、写得真假难辨,还不是重点!

更关键的是,这个模型的独特之处——只须要给出条件,它就能“定向”编故事,写命题作文,指哪打哪,想写什么风格就写什么风格。

与脑洞过于天马行空的GPT-2比较,它更能够被人驯服利用。

于是模型放出后,很快就引起了业内人士的关注。
也有人给出评价:

这太酷了!
能够以更构造化的办法掌握文本天生非常有代价。

而且,这个NLP模型具有16亿参数,比之前最大的GPT-2还要多一个亿。

虽然同样担心模型被滥用,但在研究职员看来,开放可能会更好,能让更多的人参与进来,一起抵抗。

以是,他们直接在GitHub上放出了多个全尺寸的、经由演习的 CTRL 版本。
而不是像GPT-2一样,挤牙膏开源。

而且,它还是个全能选手,不仅能编故事,比如在Reddit论坛健身、理财板块揭橥不同的评论。

它还有很多正经用场:编写维基百科词条、回答各种知识问题、翻译笔墨等等。

那么这是一个若何的NLP模型?

16亿参数的措辞模型

这个模型,有一个非常有“灵性”的名字:CTRL,全称为Conditional Transformer Language,基于条件的Transformer措辞模型。

自从有了Transformer,文本天生领域的大前辈就一个接着一个,这厢BERT首创先河,那厢GPT-2都能写论文了。

但是,与人类的创作方法不同,天生的文本再以假乱真,措辞模型前辈们也不能按照特定的主题来写作内容。

于是,CTRL出身了。

这是一个拥有多达16亿参数的条件Transformer措辞模型(GPT-2模型参数15亿),采取无监督学习,并且正如其名,能够对文本天生的内容进行更精准的掌握。

比如给出一个商批驳分:1.0。

GPT-2天生的内容是这样的:

而CTRL,会天生这样的结果:

我为我儿子买了这个,他是这个节目的虔诚粉丝。
在拿到它之前,他非常期待。
但当他打开它时,我们都非常失落望。
产品质量太差了。
它看起来就像是一元店里的东西。

这玩意儿状况很差。
前盖上有几处划痕以及其他一些轻微磨损……

实现的关键,在于掌握代码(control codes)。

CTRL以掌握代码c为条件,学习分布 p ( x | c )。
这一分布可以用概率链规则分解,并通过考虑掌握代码的丢失来进行演习。

掌握代码能利用户意图为措辞模型所理解。

通过标注演习数据集的特定标签,CTRL模型中大部分掌握代码能指定天生文本的整体样式。

纵然给出的提示(prompt)相同,掌握代码大概可天生多样化的内容。
并且,就算不给提示,CTRL一样能天生特定风格的文本。

△在有掌握代码的情形下,开头也不用给

而将掌握代码添加到标签代码中,可以进一步限定天生。

比如在OpenWebText版本中,在每一个文档后面加入URL地址,作为输入序列的开头。

这样,CTRL在演习过程中,就会学习这些URL的构造和文本之间的关系。
在推理过程中,URL可以指定各种功能,包括域,子域,实体,实体关系,乃至日期。

除此之外,还有一小部分掌握代码是与问答、翻译这样的特界说务干系的。
这些掌握代码相对繁芜。

好玩的是,稠浊掌握代码会产生一些故意思的文本。

比如把翻译掌握代码稠浊到饮食这个标签中,天生的文本就拥有了两种不同措辞的版本:

再比如说把政治和法语提示混到一起:

这些组合,在此前的演习中都没有涌现过。

值得一提的是,CTRL的演习文本数据多达140GB,包括维基百科,Gutenberg上的书本,OpenWebText2数据集(GPT-2网页文本数据集克隆版),大量新闻数据集,亚马逊评价,来自ELI5的问答,以及包括斯坦福问答数据集在内的MRQA共享任务等等等等。

数据集虽然没有开源,但Salesforce表示,他们会发布与数据网络干系的代码。

以及,由于掌握代码和用于演习模型的文本之间存在直接关系,CTRL能判断出新文本天生时对其影响最大的数据源是哪一个。

环球最大的SaaS做事供应商出品

这篇论文来自Salesforce——环球最大的SaaS做事供应商。

最近最为人关注的是一次大规模商业并购:豪掷157亿美元收购大数据公司Tableau。

Salesforce Research是其内部的研究部门,核心目标是用AI来办理业务中的问题,已经在NLP领域颇有建树。

目前,这一部门由Salesforce的首席科学家Richard Socher领导。

他博士毕业于斯坦福大学打算机系。
2016年,自己创办的公司被Salesforce收购后,加入Salesforce。

根据他个人网站信息,仅在2019年他就发布了11篇顶会论文,个中ACL 2019 3篇;ICLR 2019 6篇;CVPR 2019 1篇;ICML 2019 3篇。

他也是这篇论文的作者之一。
这篇论文的其他作者,都是Salesforce Research的研究员。
第一作者有两位,分别是Nitish Shirish Keskar和Bryan McCann。

个中,Nitish Shirish Keskar是Salesforce的高等研究员,博士毕业于西北大学,研究方向为深度学习及其在自然措辞处理和打算机视觉方面的运用。
他的个人页面显示,已经揭橥了14篇论文,个中不乏ICLR等顶会。

Bryan McCann也是Salesforce高等研究员,毕业于斯坦福大学,曾经担当过吴恩达机器学习课程的助理,研究方向是深度学习及其在自然措辞处理方面的运用。
个人网站显示,他揭橥过7篇论文,不乏ACL、NeurIPS、EMNLP等AI顶会。

引发参数热议

这一研究成果,也引起了大家对模型参数的谈论。

有人说,15亿参数也好,16亿参数也罢,假如英伟达的Megatron放出来,80亿参数肯定都通通碾压。

但也有人给出冷思考,表示参数很多并不是优点,而是一个弱点。
阿姆斯特丹大学的助理教授Willem Zuidema说:

为什么规模大是一个卖点?我理解人们为建立了一个非常好的模型而自满,乃至为找到了在有限的打算资源上演习大型模型的方法而自满。

但在我看来,16亿参数本身彷佛是一个弱点,而不是上风。

对此,Richard Socher也给出了回应:

确实,假设性能相同,较小的模型更好。
但事实证明,只要你在大量的演习数据上演习它,措辞模型的性能和影象事实的能力与大小是密切干系的。

Jelle Zuidema再度回应,给出了进一步的阐明:

令我惊异的是,“最大”是声明中的第一个形容词,而“高质量”只是末了一点。

我认为有必要提醒人们,空想的方法仍旧是更少的参数、更少的培训和更好的性能。

你怎么看?

传送门

末了,如果你对这个研究感兴趣,请收好传送门:

项目地址:

https://github.com/salesforce/ctrl

论文地址:

https://einstein.ai/presentations/ctrl.pdf

博客文章:

https://blog.einstein.ai/introducing-a-conditional-transformer-language-model-for-controllable-generation/

— 完 —

诚挚招聘

量子位正在招募编辑/,事情地点在北京中关村落。
期待有才华、有激情亲切的同学加入我们!
干系细节,请在量子位"大众号(QbitAI)对话界面,回答“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技能和产品新动态