壹沓AI探索五类主流文本生成方法实测

近期，壹沓科技通过对如LSTM,GRU,transformer-xl,GPT2等主流的文本天生方法进行实验探索，对深度学习的文本天生算法和工具从行业领域运用视角开展了测评，本文大略先容了几类方法的基本思想和实验结果，从中可以直不雅观地感想熏染到人工智能在NLP领域快速的发展。

在深度学习的文本天生算法和工具盛行之前，NLP文本天生的紧张任务是文本择要（从一篇文章中提取出一篇文章的中央，即择要的自动天生），文本择要天生大体的思想是先去除文章中的一些停用词，对句子的相似度进行度量，打算相似度得分，对其进行迭代直到偏差小于某个阈值。
针对得到的关键语句进行排序从而得到想要的择要。
自动择要的天生运用处景如自动报告天生、新闻标题天生、搜索结果预览等。
伴随大数据条件下演习大规模的语料网络的发展，为给定的一句话开头或者关键词来进行天生一篇可以阅读的文章创造了条件。

壹沓认为：目前此类自然措辞处理中关于文章的天生大多依赖于文本预测的基本方法，大体思路便是在给定的一句话或者关键词来预测下一个词是什么，在拿预测出来的下个词加上之前的词再作为输入进行预测下个词，以此类推。
但如果这样类推下去，当文章长度一长便会涌现问题，一是输入过长；二是输入文本过长，可能前面部分内容并不须要保留，而只须要当下的几句话（永劫光依赖或遗忘不干系的数据）。

先先容一下关于文本（词）预测的两种思想，第一种是针对已有大量的数据集进行演习，用演习好的模型去预测下一个词是什么，详细须要预测多少个词，这个可以根据须要进行设置（步长）。

上图中短缺一个字，用模型去预测该字是什么。
根据已有的句子去演习预测，这里就会把前面的语句当作输入来进行预测空格处的字。
这里有两个问题须要把稳，一是输入的长度多长。
二是空格处后面的句子对预测会不会有帮助。

有两个情形，第一种情形：当预测的时候，如果只输入“我会说__语”前面的一句话，这个时候空格处预测大概率是“英”，但是这个也要看演习文本数据集中英语这个词涌现的频率。
但是如果考虑到“我出生在法国”这个时候预测出来“法”语，才是我们想要的答案。
这里便是永劫光依赖问题。
第二种情形，考虑到双向预测，把要空格后面的语句也作为输入，这个时候可能也会预测到我们想要的答案（双向学习）。

壹沓NLP团队意识到双向学习的提出是源于有时候如果我们只看前面的信息来预测后面的信息是不足的。

比如：我本日不舒畅，我打算____一天。

如果只根据前面的语句，“不舒畅”，可能预测出“去医院”，“睡觉”，“请假”等等。
但如果加上后面的“一天”，能选择的范围就小很多，“去医院”这种就不能再选择，而“请假”，“安歇”之类的词当选择的概率较大。
这表示出的便是双向学习的主要性。
这里放个网上的图供参考：

以上说到的两个问题，一是永劫光依赖、二是双向的问题。
现有比较好的文本天生模型紧张是用来办理这两个问题，还有在对文本处理高下功夫。
下面针对目前研究的五种模型进行论述和总结，以及提出一个新的角度去更好地办理文章天生，能够更好的去掌握文章的质量。

阅读本文你可以理解到以下内容：

（1）如何用天生模型产出文章。

（2）五种天生模型的实验效果。

（3）从一个新的角度（文章要素掌握）去天生文章。

（4）从运用角度来看文章天生。

壹沓推举优先上手实验最大略的神经网络模型。
首先对文本文件进行读取，将文本向量化，再采取one-hot编码为三位向量。
这里为了能够快速地得到实验结果以及便于和其它模型比拟，这里模型参数设置比较宽松（演习韶光短）。

LSTM模型+ one-hot 编码来进行预测，紧张面临着永劫光依赖以及one-hot编码会造成稀疏性，须要的内存空间比较大，在表达语义方面也有所欠缺。
但总的来说还是可以进行预测，不过须要把稳的是如果输入的语句或者关键词，是在演习集中未涌现的词，通过概率打算可能会得不到下一个词。
如果有这种情形涌现，可以通过以下方法办理，一是加入办理方法，二是增大演习集（足够大）。

用演习好的模型去对文本进行天生，紧张步骤包括以下：

（1）将已天生的文本同样进行one-hot编码，用演习好的模型打算所有字符的概率分布。

（2）根据给定的 temperature 得到新的概率分布（可以省略）。

（3）重新的概率分布中抽样得到下一个字符。

（4）将天生的字符加到末了，并去掉原文本的第一个字符，作为输入再预测下一个词。

个中（2）步骤提到的temperature是指采样策略，当设置这个参数的时候即表示利用采样策略。
考虑到措辞模型中的预测输出便是字典中所有词的概率分布中最大的那个词，这里加上采样策略便是为了天生的时候可能并不总是要概率最大的那个词（比如：前文说到的“__语”预测）。
如果严格按照概率最大天生模型，那么末了预测出来的文章可能便是某某人讲话稿了。
因此引入采样策略，让其从概率分布中选择词的过程引入一定的随机性，进而让文本变得有趣，采样参数temperat分布为：

实验数据集来源于：搜狐新闻数据集中包括汽车内容的文章，6539篇文章。

数据集连接：https://www.sogou.com/labs/resource/cs.php

备注：该数据集从网上采集，包含很多调查问卷类型的文章，演习出来的模型，在预测文章时可能会涌现一些跟汽车干系的奇怪数字或者语句。

样例输入：简短的语句。

样例输出：预测下文。

双向 GRU+Embedding

壹沓NLP团队认为该模型与第一个模型LSTM紧张的差异有三点：

（1）LSTM模型是基于字符级别的措辞模型，每个句子都因此字符为单位，而双向GRU加Embedding为词组为单位进行演习，利用jieba分词来将句子分成词组（当然也可以利用其它办法进行分词）。

（2）利用词嵌入（Embedding）代替One-hot编码，节省内存空间，同时词嵌入可能比one-hot更好地表达语义信息。

（3）双向GRU代替LSTM，从正向和反向两个方向来进行学习演习。
GRU是LSTM的一个变种，比较于LSTM优点是：参数更少更随意马虎收敛，性能上有所提高。

双向GRU+Embedding模型输入的时候对输入样本进行分词，因此在进行输入的时候不能担保输入样本同等，这里样例输入与 LSTM 模型有一些出入。
采样策略与 LSTM 模型利用的参数保持同等，从实验结果来看，在不启用采样策略下，输出的结果比较符合逻辑。
可见，启用采样策略，输出结果故意想不到的表达办法。

壹沓NLP团队认识到只管卷积的观点一样平常只涌如今图像领域，但也可以利用卷积的观点来完成文章天生，其特点便是对局部特色的学习提取功能。
后来有研究学者创造卷积神经网络同样适用于时序数据的处理，其能够提取长序列中的局部信息，这在NLP特定领域非常有用（如机器翻译、自动问答）。
因此这里提出引入卷积来进行处理。

在双向GRU+Embedding根本之上加入卷积之后，不管是利用采样策略或者不该用采样策略的情形下，天生的文章语句看起来与预期输出的关联性较弱。
而这紧张是输入的样本语句给定的词在演习样本集中有多个，在利用统计模型预测下文的时候，按照概率的大小来进行选择时就会导致这种情形。

该模型是由谷歌开源的措辞模型，该模型是在transformer模型（具有固定长度内容建模的局限性）根本之上进一步完善，紧张针对长文本问题进行改进。
一是对transformer模型利用的位置编码进行改进，transformer利用的位置编码是一种绝对位置编码，当对文本进行分段处理之后，绝对位置会涌现问题，通过打算公式来对其进行改进，引入相对位置编码。
二是对分段文本进行编码时，加入相连的上一段的编码信息。
（而不再是单独的一段）。

壹沓科技利用网络的汽车语料库来演习Transformer-xl模型，通过输出结果得出，该模型能够较好的根据输入内容连续天生文章。
天生的内容相对付LSTM模型和GRU模型效果要好一些。
但随着天生的文本过长，模型也会涌现一些意想不到的天生。
为提升效果，还须要网络更多的语料库来进行完善。

对付措辞模型来说，很多学者不断刷新自然措辞中的记录，个中包括BERT、Transformer-XL、XLNet等大型自然措辞处理模型。
但上述模型大部分用于理论研究，在工业界中由OPEN-AI提出的GPT、GPT2模型凭借着稳定、精良的性能受到业界广泛关注。

GPT-2比较于GPT模型差别并不大，采取了更大的数据集进行试验。
预演习的办法和上述几种措辞模型一样，可以通过高下文的学习，根据输入的文本来预测下一个词。

个中参数最小为1.17亿，也便是GPT模型，第二参数为3.45亿与BERT是一个量级，最大的15.42亿个参数的模型成为GPT-2。

GPT-2模型与其它模型的比拟试验结果就不再逐一列出，本文供应本试验测试的结果供大家参考，该模型是GPT-2预演习好的模型，并未增加干系数据集进行调度。
为了展示效果，这里样例输入与上述几种模型保持同等。

从GPT-2实验结果来看，天生的文章与利用汽车语料库演习出的模型有所差距， GPT-2天生的文章比较其它模型阅读起来更顺畅。
但是查看样例输入的语句高下文会创造，前面几种模型给出的结果要好于GPT-2，这个跟GPT-2演习数据样本有关，后续会考虑把网络到的汽车语料库对模型进行完善，以便得到更好的效果。
其余，如果样例输入变成某个关键词，GPT-2天生文章的质量要好于其它措辞模型。

如何利用上述模型来实现可供阅读的文章

通过上述自然措辞模型的先容，我们大体理解到自然措辞处理现阶段的发展过程，以及近年来自然措辞模型在处理不同任务上的各个上风。
自然措辞模型在进行文章天生任务时是通过给定的输入，对其输入进行预测下一个词是什么，以此类推，直到达到设置的天生长度。

但这可能会涌现一些问题，比如设置的天生长度过永劫，天生的词可能会不通顺、不连贯，导致天生的一篇文章后半部分无法达到阅读的逻辑哀求。

针对这一问题，我们可以考虑将一篇文章进行拆分段落来分块进行天生，针对每一部分可以对输入的语句（关键词）有所不同。
由于每一部分侧重点有所不同，这时可以根据须要的侧重点给予相应的关键词来进行预测。

以下为壹沓NLP团队针对“大众汽车”为开头来天生的一篇文章，从大众汽车的集团概况、平台、内饰、价格等方面来先容大众汽车，从中可以看到文本天生仅千字内容时还能基本保持语句畅通的初步效果。

“大众汽车集团(中国)公司,并且已经在中国市场取得了一定成功。
目前,中国市场已经成为环球第二大汽车消费市场。

大众汽车海内采取了成熟的mqb平台，在布局上延续了老款捷达、桑塔纳等车型的传统车身构造，未见有太多特殊之处。
但在内饰配置上，却有了进步。
按照新款捷达、桑塔纳的配置配置，它的价格区间也在5-10万元之间。
除了12万元以上的高端车，大众汽车更方向于入门级配置，而这些入门级配置并非朗逸、轩逸的主打选择，而是入门价格售价更低、年销量靠近50万辆的帕萨特、迈腾等车型。
主流的保值率对付许多追求高性价比的消费者来说很主要，大众品牌的保值率有目共睹，毕竟入门级保值率要低于宝马和奥迪。
1~2年的保值率比拟1~2年的保值率下，利用2年以上后帕萨特、雅阁仍旧具有非常高的性价比。
帕萨特、雅阁、迈腾的保值率数据作为与捷达、桑塔纳同级的全新一代帕萨特，2017年整年的销量达到1.68万辆，蝉联轿车销量冠军，其品牌形象更为突出。
不仅口碑载道，帕萨特的保值率还高于大众标三剑客的保值率，帕萨特坚持在1.58%旁边，雅阁为1.80%旁边，迈腾也坚持在1.71%旁边。
2018年上半年帕萨特依然坚持1.68%的不变，整年保值率较去年进一步增长。
帕萨特有着非常高的性价比，一样平常情形下性价比较高的轿车保值率较差，由于性价比高的轿车每每价格更低，而保值率更高的汽车每每价格更高。
对付全新一代帕萨特来说同样是如此，虽然捷达被很多人评价是“中国牌照的迈腾”，不能入口大众的入门级轿车帕萨特，在标轴版帕萨特进入海内时又得到了很大的销量上风，提前下探全新一代帕萨特入门级价格，使得两款车的保值率进一步拉低。
2018年7月入门级车型雅阁仍有1.94%的保值率，迈腾也仅有1.68%。
对付性价比更高的帕萨特来说，这个值得把稳。
大众轿车的价格都差不多，捷达是品牌唯一受损的工具，速腾变为“速腾奔”，桑塔纳变为“捷达”，朗逸变为“桑塔纳1.5l”等，这些方法会让捷达变得更加性价比低。
有力打击帕萨特的车型紧张是品牌保值率较低的轿车，不仅仅是桑塔纳1.5l和雅阁的全新帕萨特，还有朗逸和迈腾均坚持在1.65%的保值率。
雅阁的保值率为1.65%，帕萨特1.65%，速腾2.2%，全新帕萨特1.78%，朗逸为1.61%，速腾为1.92%，朗逸为1.92%，速腾的保值率远远高于帕萨特。
雅阁、帕萨特的保值率都很高，全新帕萨特的保值率更高，如此表现也解释了帕萨特的保值率确实不是帕萨特性价比最高的车型。
这便是大众品牌认知度不断提升的过程，也是帕萨特同级车型变相拉低性价比的结果。
当然，大众的终端优惠，亦或者是车型的调度都是影响。
”

壹沓科技成立于2016年11月，聚焦于前沿技能在企业数字化中的运用，我们在自然措辞处理-NLP、图像笔墨识-OCR、知识图谱-KG、大数据挖掘-Data Mining、机器人流程自动化-RPA和业务流程重构及管理-BPR&BPM等领域具备完全的自主研发能力，已得到软件知识产权数十个。

公司核心的业务包括数字机器人产品（矩阵数字机器人-Matrix Robot）和互联网大数据品牌管理（品牌方程-Formula DBM），已经为多个行业数百家企业及政府供应专业办理方案。

总部位于上海 ，在北京、深圳设有分公司， 已得到高新技能企业、双软及专精特新企业等专业认证 。
核心团队来自于多家有名上市公司，在企业做事及互联网从业超过10年，拥有大数据、云做事及人工智能领域的丰富履历。