我们可以创造，身边用的各种前辈的谈天机器人并不能保持良好的对话，但AI系统在天生书面笔墨方面肯定会越来越好。最近创造一个好玩的新的Web运用程序，它供应了充足的证据，让任何人都可以输入AI软件自动相应的文本提示。
输入一篇虚构的新闻文章的开头，它将为您完成剩下的部分。问一个问题（建议格式化你的输入：“问：本日我该怎么做？”），那么它的回应是很不错的。
探秘
该网站名为TalkToTransformer.com，「链接」它是加拿大工程师Adam King的创作。 King创建了该网站，但根本技能来自研究实验室OpenAI。今年早些时候，OpenAI推出了新的AI措辞系统GPT-2，而TalkToTransformer是该技能的精简版，可访问版本，过去只有经由筛选的部分科学家和才能访问。 （名称“变压器”是指GPT-2和其他系统利用的神经网络类型。）
该模型称为GPT-2（GPT的继续者），它被演习成仅用于预测40GB互联网文本中的下一个单词。由于我们担心该技能被恶意运用，我们不会发布经由演习的模型。作为一个负任务表露的实验，我们转而发布了一个小得多的模型供研究职员实验，以及一篇技能论文。
GPT-2是一个大型的基于转换的措辞模型，具有15亿个参数，在数据集上进行演习。我们通过从互联网上抓取内容创建了一个强调内容多样性的新数据集。为了保持文档的质量，我们只利用了经由人工筛选的页面。 GPT-2演习有一个大略的目标：根据某些文本中的所有先前单词预测下一个单词。数据集的多样性导致这个大略的目标包含跨不同领域的许多任务的自然发生的演示。 GPT-2是GPT的直接放大，其参数超过10倍，并且演习的数据量超过10倍。
GPT-2显示了一系列广泛的功能，包括天生前所未有的质量的条件合成文本样本的能力，我们利用输入对模型进行添补，并使其天生冗长的延续。此外，GPT-2优于在特定领域（如维基百科、新闻或书本）演习的其他措辞模型，而无需利用这些特定领域的演习数据集。在诸如问答、阅读理解、总结和翻译等措辞任务上，GPT-2开始从原始文本中学习这些任务，不该用任务特定的演习数据。虽然这些下贱任务的得分未达到最前辈的水平，但他们建议，只要有足够的（未标记的）数据和打算，任务可以从无监督技能中受益。
正如上面的示例所示，我们的模型能够从觉得靠近人类质量的各种提示中天生样本示例，并在页面或更多文本上显示同等性。然而，我们已经不雅观察到各种失落效模式，例如重复文本、天下建模失落败（例如，模型有时会写的是在水下发生的失火），以及非自然的主题切换。探索措辞模型的这些类型的弱点是自然措辞处理社区中一个生动的研究领域。
总的来说，我们创造须要花费一些韶光来得到一个好的样本，考试测验次数取决于模型对高下文的熟习程度。当提示数据中高度代表性的主题（如指环王）时，彷佛能够在大约50％的韶光内就天生合理的样本。相反的情形也是如此：对付技能含量高或内容类型较高的内容，该模型的表现可能不佳。微调供应了对天生的样本进行更详细掌握的潜力。例如，我们可以在Amazon Reviews数据集上微调GPT-2，并利用它来让我们根据星级和种别等内容编写评论。
这些样本具有重大的含义：大型措辞模型越来越随意马虎勾引可扩展、定制、连贯的文本天生，而这些文本天生又可以以多种有益和恶意的办法利用。我们将不才面更详细地谈论这些含义，并根据这些考虑，概述我们正在进行的发布实验。
Zero-shot
GPT-2在各种特定领域的措辞建模任务中得到了最前辈的分数。 我们的模型没有针对任何这些任务的任何数据进行过演习，只是作为终极测试进行评估; 这被称为“Zero-shot”设置。 在对这些相同数据集进行评估时，GPT-2的性能优于在特定领域数据集（例如维基百科、新闻、书本）上演习的模型。 下表显示了我们所有最前辈的Zero-shot的拍摄结果。
（+）表示此域名的分数越高越好。 （ - ）表示分数越低越好。
GPT-2在Winograd模式、LAMBADA和其他措辞建模任务上实现了最前辈的技能
在其他措辞任务中，例如问答、阅读理解、总结和翻译，我们可以在不对模型进行任何微调的情形下得到不错的结果，只需通过精确的办法提示演习模型，只管我们仍旧没有达到专业系统的最新技能水平。
我们假设由于这些任务是通用措辞建模的一个子集，我们可以预期性能会随着更多的打算和数据而进一步增加。 其他人也揭橥了类似的假设。 只管我们尚未进行彻底的实验，但我们还希望进行微调以帮助完成下贱任务的性能。
理解从现在开始
如果你想理解人工智能措辞的产生，那么除了利用TalkToTransformer之外，没有更好的方法来理解它的巨大潜力和严重的局限性。
从好的方面来说，该模型非常灵巧。它能够识别各种各样的输入，从新闻文章和故事到歌词、诗歌、食谱、代码和HTML。它乃至可以识别哈利波特和指环王等系列电影中我们很熟习的角色。
与此同时，您很快就会创造，从根本上讲，系统并不理解措辞或全体天下。它天生的文本具有表面上的同等性，但没有长期的构造。例如，当它写故事时，字符随机涌现和消逝，其需求或动作没有同等性。当它产生对话时，就会漫无目的地从一个话题转移到另一个话题。如果它得到的反应不止几个，那彷佛是好运，而不是技能。
请记住：这是一种学习通过研究从Web和其他来源中抓取的大型数据集来天生文本的算法。它通过在这些信息中探求模式来学习，结果是一个令人惊异的多才多艺的系统。
在GPT-2的知识中找到差距可能并不困难，但是不可能知道你是否已经探究了它能做什么的极限。
编译出品