23岁的Lawrence Peirson正在攻读斯坦福大学的理论天体物理学博士学位,但今年却决定学习几门AI课程。在一个班级项目中,他和自己的同班同学E.Meltem Tolunay开拓了一个神经网络,可为表情包天生解释笔墨。他们发布了一份关于该网络的白皮书,其标题十分贴切:“Dank Learning”(“Dank”是“Cool”的同义词)。
虽然现在已经存在很多演习深度学习模型为图片天生笔墨解释的例子。例如,准确地为一张图片天生解释性笔墨“踏着冲浪板的男人”或“拿着蛋卷冰淇淋的孩子”。但对付表情包,Peirson想寻衅一下神经网络能否打破字面阐明,创造出具有诙谐感的笔墨解释。
只管一开始Peirson对所天生表情包的意见意义性持疑惑态度,但终极他创造深度学习模型确实可以天生“一些非常有趣的原创诙谐内容”。
得到“深度表情包”该神经网络为一类盛行的动物表情包天生解释笔墨。为了网络用于演习该深度学习模型所需的数据,Peirson从memegenerator.net网站上搜集了大约40万个由用户天生的表情包。该网站供应各种表情包模板,并许可用户自己搭配笔墨解释。
该数据集包含大约3000个基本图像,每个图像都配有多种不同的笔墨解释。由于输入数据均来自用户,深度学习模型所处理的表情包笔墨解释的质量良莠不齐。
“我们利用了40万个表情包,个中的大部分没有那么有趣,但是至少它们能够教会系统表情包是什么,以及什么样的笑话才是与图片内容干系的,”他说道。
互联网表情包在网络上早已流传多年,Reddit、Facebook、9GAG和Quick Meme等网站是它们的大本营。最火爆的表情包可能会配有超过200万种原创笔墨解释。
表情包引用的常日是盛行文化、时势或某个特定的互联网亚文化群体才明白的“梗”。(Peirson创建了一个名为“The specific heat capacity of europium at standard temperature and pressure”的表情包页面。)
这些表情包同时汲取了数字文化的精华与糟粕。其论文指出,演习数据中大多是关于诅咒、种族主义和性别歧视的表情包。Peirson以为须要在未来演习中过滤掉这些内容,但他指出这一问题并不是表情包所独占的,“这在自然措辞处理中是一个普遍存在的大问题”。
该深度学习模型利用CUDA措辞编写,利用了一块NVIDIA GPU。Peirson和Tolunay同时考试测验了利用无标记的数据和标有表情包标题的数据(例如,成功小子或暴走漫画),但并没有创造表情包的质量有任何显著差异。
“这些表情包非常有趣,不过是‘也还说得过去,但实在并不是那么搞笑’这种程度,” Peirson说道,“表情包便是借用了这种诙谐感。
该神经网络为此类动物表情包天生相识释笔墨。
让表情包变酷可不随意马虎为了评估深度学习模型成功与否,两人开拓了一个“困惑指数”(perplexity score),用其检讨神经网络是否可以明确识别出数据的模式。他们针对几百张带有预设格式的表情包打算出了“困惑指数”。如Boromir(电影《魔戒》中的角色)表情包,该表情包的笔墨解释始终都带有“one does not simply”的字样。
但对付表情包的真正磨练在于其是否搞笑。
在一项定性调查中,Peirson与其白皮书的共同作者同时向受访者展示了人类创作的表情包和深度学习模型天生的表情包。他们向受访者提出了两个问题:“表情包是由人类创作的还是由打算机创作的?”,以及“如何评价表情包的诙谐程度?”。
Peirson表示,访问结果显示深度学习模型创作的表情包“与人类创作的表情包险些无法区分”。
他们还研究了其神经网络如何为演习数据集之外的表情包天生笔墨解释。在这种情形下,算法会基于其在演习数据中看到的内容推理未知图像的模式。为了测试这一点,Peirson乃至向深度学习系统展示了他自己的照片,天生的笔墨也相称有趣。
Peirson在深度学习模型中输入了自己的照片,模型天生了这张表情图。
表情包常日会进行病毒式传播,并成为“网红”,而以表情包为主题的白皮书也受到了欢迎。当该项目得到媒体宣布并受到关注时,Peirson表示自己“倍感震荡”。一款名为Dank Learning的移动运用也即将上岸App Store。
他说,这个项目让他打开了新的视角:原来表情包的影响力如此巨大。每天,环球有数百万用户在社交媒体网站上传播表情包。
在Peirson看来,强大的AI有潜力根据时势“突发奇想”,天生表情包,从而影响"大众年夜众认知。而广告主也可以利用表情包提升品牌有名度:“让表情包进行病毒式传播是一种绝妙的营销办法。”