编辑:陈萍、杜伟

GPT-3 写的论文及格了吗?教诲资源网站 EduRef 对此进行了一项测试,效果还行,及格水平。

2020 年 5 月,OpenAI 推出了具有 1750 亿参数的史上最大 AI 模型GPT-3,该模型不仅可以更好地答题、翻译、写文章,还带有一些数学打算的能力。
自推出以来,该模型就开始在不同的领域大显技艺,如基于问题的搜索引擎、与历史人物对话、基于文本描述天生代码以及绘图和图像补全等等。

但 GPT-3 的运用之路远未结束…

除了缺点创意GPT3写出了及格大年夜学卒业论文只需20分钟

近日,教诲资源网站 EduRef 进行了一项测试,他们找了一组教授创建了一个写作提示,然后让应届毕业生和本科生以及 GPT-3 同时根据该提示写作,末了教授组对匿名提交的作文打分,并对作者进行追踪调查。
那么,究竟结果如何呢?GPT-3 的分数能够超过人类作者吗?未必!

GPT-3 通过了大部分课程的写作测试

常言道:「评级为 C 就可以毕业(C’s get degrees)」。
AI 远远达不到完美,GPT-3 的写作水平大概相称于自由写作者(freelance writer)。

结果显示,在 COVID-19 疫苗效力的研究方法论文写作上,人类作者可以得到 B 或者 D,而 GPT-3 每每只能得到 C。
在美国历史类的测试中,人类作者可以在美国例外主义论文中得到 B 或者 C+,而 GPT-3 只能得到 B-。
末了,在法学课上的政策函写作中,GPT-3 得到了 B-,而 3 个学生中只有 1 个能够得到高分。

下图为人类作者与 GPT-3 在不同学科写作中的得分情形:

由此可见,GPT-3 的写作技能紧张表示在技能类文档中。
在创意写作课程中的地点记叙文(place narrative)写作中,GPT-3 仅得到了 F,没有通过测试。
作为比拟,自由写作者得到了 A、B + 和 D+。
只管在创意写作教授的眼中,GPT-3 失落败了,但自然措辞天生(NLG)软件依然可以用于编写各种内容,包括一部险些获奖的小说《The Day a Computer Writes a Novel》。
先前的成功也预示着往后的失落败,GPT-3 或许只须要一些调度即可以成为一名合格的创意作家。
总的来说,AI 险些通过了所有的课程写作测试。

GPT-3 20 分钟完成论文

虽然每个教授打分都不一样,但该评分小组包括两名博士和一名医学硕士。
他们统共有超过 55 年的高中和各种大学水平的传授教化履历。
写作者包括应届毕业生和本科生,个中一些人在他们的研究领域写了提示。
均匀来说,他们须要 3 天韶光完成任务。

对付绝大多数学生来说,3 天内完成大学论文彷佛是很难的事情,紧张缘故原由在于韶光太短,但是GPT-3 在 20 分钟内就完成了这个任务。
GPT-3 利用深度学习产生类似人类的文本,每项任务花费 3 到 20 分钟完成,并且用最长的韶光来编写创造性的写作阐述。
为了避免人为滋扰,GPT-3 只对输出长度和重复文本进行了轻微的编辑,其天生的内容、真实信息和语法都没有受到影响。

GPT-3 天生的美国历史类作文示例如下:

GPT-3 可天生类似人类写作的内容

纵然没有人为滋扰,GPT-3 的任务也或多或少地收到了与人类作者相同的反馈。
49.2% 的评论涉及语法和句法,26.2% 的评论涉及重点和细节,语气与行文构造等也被提及,但分别只有 12.3% 和 10.8%。
这与人类作家收到的评论比例险些相同,近 50% 的评论与语法和句法有关,25.4% 的评论与焦点和细节有关。
超过 13% 的评论是关于人类专业知识,而 10.4% 的评论是关于整体风格等。

人类作者与 GPT-3 的写作结果收到的评论反馈情形:

只管收到了同样风格的评论,GPT-3 天生的内容与人类作者并不那么相似。
以排名靠前的两个单词组合为例,GPT-3 和人类作者只分享了排名靠前的组合:「of the」。
「People who」、「it is」和「those who」常被 GPT-3 利用,而人类作者常常利用的是「to the」、「in the」和「on the」。
总体来说,这些单词是在英语中常常利用的,组合上的差异显示出 AI 和人类在写作构造上的一些差异。

人类作者与 GPT-3 在写浸染词上的差异剖析:

考虑到 GPT-3 超高的论文得分,搭配统计数据的差异表明,人类作者比 AI 产生的独特内容明显更多。

只管 GPT-3 具有出色的产出,但其天生的论文在短期内还无法独立得到大学学位。
当与人类作者竞争时,GPT-3 得到了一些及格分数,但在创意写作方面有所欠缺。
只管它在浩瀚领域的成功为 AI 的未来带来了希望,但对大学教授来说,AI 依然存在不敷。