上学的时候,老师一定教导过你:碰着不会的问答题,就算是瞎写,也要随便写两句。大概阅卷老师心情好,可能会酌情给分呢。
老师会不会给分,不知道。但是,AI真的会给分,乃至可能是满分,纵然你什么也不知道。
最近,一个号称做事于美国2万所学校的AI传授教化平台翻车了,利用它的漏洞去“裸考”就能轻松及格,切实其实便是“学渣福音”。
翻车过程事情的起因是这样的:
一位美国家长Dana有一天创造,她正在读七年级的儿子溘然哭了。由于有道历史题,孩子只拿了50%的分数。
这意味着他必须把剩下题目全部答对,否则就会不及格。
这道题问的是:君士坦丁堡的地理位置是如何帮助拜占庭帝国变得富有强大的?
而孩子的回答是基本没有问题的。(请忽略末了一句话,这句话不是孩子写的,缘故原由后面自见分晓。)
一开始,Dana以为,改卷子的老师是不是太苛刻?她这样安慰儿子。
但是孩子说,他把答案提交1秒后就得到了分数。以是Dana意识到,批阅试卷的该当不是人,而是AI。
Dana对技能有一定的理解,她以为,AI系统很可能是根据关键词来评分。为了验证自己的想法,他把儿子的作业做了一遍。
她考试测验在答案里加入“财富、商队、中国、印度”,也便是上图中的末了一句,反正能想到的关键词都一股脑儿填进去。
奇迹涌现了,这道题她拿了满分。纵然这些关键词之间没有任何串联。
单词沙拉——Dana找到了一种得到高分的好办法,便是把所有可能的关键词组合起来,总有能蒙对的。这种方法对短问答题尤其有效。
当然,这只是Dana本人的预测。实际上这家公司在官方的帮助中央里已经承认了:我们便是按照关键词的百分最近评分的。
没有关键词0分,有一个就拿一点分,全部命中拿100分。
绕过AI的作弊“妙招”
供应这项AI评分技能的公司叫做Edgenuity。
新冠疫情让美国的不少学校无法开学,学生只能在家学习,以是很多学校就用上了Edgenuity的远程传授教化和考试方案。
而Edgenuity的AI评分问题早已有之,只是最近才被外媒创造。
一周前,有网友抱怨自己只拿了0分,很多人就指出了Edgenuity是靠关键词评分的事实。
一位多年前利用过该系统的高中生说,他当年就创造了这个作弊方法。当他完备不知道怎么答题的时候,就在回答框里填入各种单词,而且“常常会见效”。
还有学生创造,把问题粘贴到答案里也可以得分,由于问题里常常包含了关键词。
想当年老师说过,碰着不会的问答题,把问题抄一遍。诚不欺我也!
AI真的比阅卷老师还好说话。
有些学生见告,他们在上学期都利用了这个技巧,并每次都考到了不错的分数。
如果你去Google搜索Edgenuity,那么就会创造,“如何在Edgenuity里作弊”一贯处在热搜的位置。
在Reddit论坛的Edgenuity板块里,学生们公然谈论着如何作弊。这款号称防作弊、自动判卷子的Edgenuity实在漏洞百出。
进入这个链接后,真是打开了新天下的大门,原来美国中学生对如何在AI系统中作弊有着颇深的研究。
Edgenuity不是可以防止学生开网页找答案吗?没问题。
设置浏览器在关闭时删除缓存和Cookie,打开另一个浏览器窗口作为搜索答案利用,满分so easy。
实在也不必这么麻烦,现在智好手机这么发达,去Brainly(类似于海内的作业帮)找一下答案就好。反正手机和电脑是分开的嘛。
也便是说,Edgenuity必须和人类西席结合,须要人类帮忙在线监考、审核阅卷结果,这样才能发挥其功效。
显然,美国的一些西席偷超过2万所美国学校在用
那么,这家生产“人工智障”的公司Edgenuity,究竟是什么来头?
事实上,1998年就成立的Edgenuity,是美国K-12市场的在线课程和传授教化做事的领先供应商。
2011年,Edgenuity以5000万美元被Weld North收购后,目前已经有超过2万所学校利用这个传授教化平台,包括全美排名前25的学区中的20个。
也便是说,全美国教诲资源最顶尖的地区,80%都能见到Edgenuity的身影。
不过,原来的Edgenuity,紧张是一家教诲内容供应商,但它于2016年收购了一家名为Compass Learning的教诲软件供应商。
Compass Learning成立于1964年,紧张卖力做小学和中学阶段的学习评测软件,被收购时,已经有超过200万个美国学生、1万多所美国学校在利用。
前段韶光有网友回顾起曾经被Compass Learning干系软件支配的恐怖,在社交媒体上得到了网友的激烈相应。
现在由于疫情缘故原由,大部分美国学校将目光转向了在线教诲课程,个中一些学校更是直接将传授教化和测验都外包给了像Edgenuity这样的在线教诲公司。
针对此事,Edgenuity做出了回应,称AI打分永久只会供应“算法上的辅导”,不能决定学生的课程成绩。
Edgenuity不会利用算法去代替西席评分,只会供应一个打分参考。老师们有能力接管或否定推举的分数。AI不会为测试打分,也不会决定学生的测试成绩。
但即便如此,Edgenuity的影响却还在美国扩大。
据美通社,Edgenuity近日得到了2020年的卓越传授教化奖(Tech & Learning Awards of Excellence),环球教诲最具代表性之一的EdTech奖项(the EdTech Cool Tool Awards),美国“软件与信息家当协会”(SIIA)唯一核心大奖(the CODiE Awards),以及技能教诲奖(the Tech Edvocate Awards)。
这些“经由专家评估的”专业技能奖项,使得Edgenuity成为在线以及K-12教诲更具影响力的公司。
AI阅卷老师,海内也有事实上,AI改卷老师,并非只有国外才有。
早在2017年,阿里就推出了AI批阅中文试卷的系统,产出了“环球第一份机器人批改的作文”。
据搜狐宣布,在浙江外国语学院国际学院,阿里AI为来自俄罗斯、韩国等11位留学生批阅了中文试卷,“批阅一篇试卷的韶光常日只须要40秒”。
切实其实比批阅高考作文的老师看得还快。
不过看起来,AI改作文的紧张标准,是集中在“纠正语法”上。
例如,在“请写一写你的爱好”的命题作文下,一位学生提到自己的爱好是中文,并在作文中写道:“中文的难点并非是字,而是像女朋友一样善变。我是不会放弃的,除非中国人也放弃我才会放弃。”
△ 图片源自搜狐
对付这两句话,一位汉语系教授表示:“我教了14年的中文,不负责看还真没看出问题。但事实证明,这两句话都是病句,存在杂糅和重复的缺点。”
据悉,阿里开拓这套阅卷系统的紧张目的,是教外国人学中文,以是在语法方面会有严苛的哀求。
如果说阿里的阅卷系统还是个小范围的考试测验,科大讯飞已经将之运用到实际考试中了。
据理解,早在2016年,我国教诲考试中央就和科大讯飞成立告终合实验室,共同开展人工智能技能在阅卷、命题、考试评价剖析等方面的研究。
而在2017年,湖北襄阳就已经正式在中考评卷事情中引入了该机器评分系统作为评分赞助手段。
据理解,这个别系基于科大讯飞自主知识产权的手写识别、自然措辞理解、智能评测等人工智能核心技能设计研发,能够实现对除选择题以外的所有题型的空缺题检测。
不仅如此,还能改主不雅观题,对语文作文、英语作文、英语翻译、文综类简答题、英语填空题题型进行打算机警能评卷。
同时,也能针对语文作文与英语作文,有效地检测出考生抄袭范文的非常答卷,有效降落主不雅观题人工评卷的事情量。
然而,却有微博网友创造了海内AI阅卷系统翻车的情形。
从图中来看,这个名为奇点学院的APP,在批改数学题的时候,哀求答案只能与它的公式“完备同等”,其他步骤纵然是对的,也不给满分。
△ 图片源自微博 @安托利娅
哪怕是推导过程无误,答案精确的情形下,10分的题目也只给了7.5分。
那么,你相信AI改试卷比公民西席靠谱吗?
参考链接:
https://www.theverge.com/2020/9/2/21419012/edgenuity-online-class-ai-grading-keyword-mashing-students-school-cheating-algorithm-glitch
https://twitter.com/DanaJSimmons/status/1300997133311508480
https://www.reddit.com/r/edgenuity/comments/gbmx2l/how_do_i_successfully_cheat_on_edgenuity_without/
https://finance.yahoo.com/news/edgenuity-announces-recognitions-tech-learning-140000177.html
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一韶光获知前沿科技动态