量子位 | 公众年夜众号 QbitAI
首个AI程序员，演示视比年夜幅度造假？？？
不久之前震荡硅谷的Devin，再度震荡硅谷——但这次是被打假。
事情是这样的：油管程序员博主Internet of Bugs（以下简称秃顶哥）对Devin的视频进行了逐帧剖析，逐一举证解释了Devin并不如演示中那般神奇。
乃至有“自己现写bug然后当场修复”的骚操作。
其它“罪证”，包括但不限于：
号称能办理任何Upwork任务，但演示中办理的问题并不是prompt要办理的那一个，做无用功；看起来在修复bug，实际上修复的bug人类程序员根本就不会犯；没故意识到大略两步就能办理问题，花里胡哨一顿操作，实在是自己把任务搞繁芜了；修正代码的水平一言难尽。此外，秃顶哥花了半个多小时，把Devin演示视频中的upwork任务完成了一遍——而Devin完成任务可能用时6个多小时。
啊这这这，真是好、大、一、口、瓜！
要知道，其背后公司Cognition AI手握10块IOI金牌的活招牌，还在推出Devin当月宣告成功融资2100万美金。
推特和YC上已经吵翻天了，让这件事的谈论度高居不下。
我叨教呢？真的很讨厌演示造假，让demo看起来轻松达到猜想之外的技能进步。
还有人表示自己很受伤，再也不会相信各种冒出来的创业公司的东西了。
emmmm……我还是把期待值全部留给OpenAI、Anthropic、DeepMind、FAIR这些公司和机构吧。
完全详情，一起接着往下看。
35年从业者逐帧验证这次出来张扬正义的秃顶哥，从事软件行业已经35年。他首先声明自己的态度：我并不反对高科技，但我确实反对过度炒作。
他自己也常常利用GitHub Copilot、ChatGPT、LIama2、Stable Diffusion。
事实上，在Devin刚推出时候，他就反对过“天下上第一个AI软件工程师”这一说法。
这次则紧张针对的是一些更为详细的说法。
比如之前Devin号称能够靠处理upwork任务来赢利的。但在真正的演示中Devin并没有做到这一点。
不信？没紧要，秃顶哥带着逐帧的证据来了。
总结如下：
Devin所处理的任务并非随机，而是精心挑选；与客户实际需求有很大的出入；实际操作过程，数次自己创造bug然后再修复；很多毫无意义的操作，相称于几十年前在C措辞中才用的方法；？？？首先，来到了演示视频的2.936秒处，在屏幕左上角有显示他们搜索过这个内容。因此，这不是所谓“随机”选择的任务。
再来看客户给到的详细需求。真正需求为“我想要利用这个库来进行推理。你须要供应详细的操作指南。我不想谈论完成这项事情估量须要的韶光。”
但给到Devin的需求却是：我希望利用这个模型在这个库中进行推理。请自己弄明白。
末了视频末端涌现的Devin天生报告中，也没有提及客户实际须要的内容。
那么，这份事情的终极交付成果该当包括什么呢？
但Devin实际做了什么？
Devin第一次真正的考试测验，是它修正了一个名为requirements.txt文件,个中规定了代码所依赖的库版本。视频中提到它正在更新代码，但实际上更像是修正配置文件。
然后根据需求，须要Devin能建立自己的推理能力，并仅需利用样例数据即可。但实际项目要比这个繁芜得多。
结果很快，Devin就碰着了第一个命令行缺点——打开图像失落败、文件未找到、无此文件或目录等。但在秃顶哥实际复现时并没有涌现，结果研究创造，代码仓库压根就不存在这个文件。
这相称于Devin自己创建了个bug，然后再修复bug。在接下来的操作中，Devin经历了很多次这样的“自建自修”。
不能说十分有用，只能说完备没有必要。
接下来，再来看看代码库中这样一个readme文件。正如视频所展示的那样，readme文件清晰地解释了该文件的功能和用法。在页面右侧,乃至还有一个小按钮，点击它就可以复制整条命令，然后粘贴到命令行窗口中，按下回车即可运行。
但Devin完备没能理解，而又是自创了个项目。而写的那段从缓冲区读取数据的代码十分糟糕。
于是秃顶哥发出了灵魂拷问：
这不便是几十年前在C措辞等中才用的方法吗？？？
这种做法显然已经由时，正凡人用Python谁还会再写这个代码。这种代码很难调试，它逻辑繁芜，难以理解，很随意马虎涌现细微的缺点。
此外，代码库中还存在一个真正的缺点，但Devin既没有创造也没有修复。
然后秃顶哥用谷歌搜索，按照GitHub 上一条干系评论修正了代码，只花了1分07秒，问题就办理了。
终极秃顶哥统共花了35分55秒复现了Devin的事情，而Devin实际花了多永劫光呢？
如果细看视频Demo，就会创造Devin处理事情前后有6个小时20分钟的间隔。
视频的前部分显示的是3月9日下午3：25 的韶光戳，但后半部分却显示的是当天晚上9：41。
而逐帧细看就有会创造一些奇怪且毫无意义的操作。
比如head -N 5 results.json | tail -N 5这个命令，它表示取这个JSON 文件的前五行，然后再取这些行的末了五行。
精确的做法该当是”head-5 results.json”。那个-N 是多余的。只要说 -5 就可以，不须要那些多余的东西。
末了秃顶哥锐评，AI现在天生的内容有很多都十分屈曲，反倒会让事情变得更为繁芜。
当看到它的任务列表时，会以为：哇，Devin做了很多事情。但实际上可能并非如此。
网友：至少节制了看起来很忙的技巧对付这次Devin造假翻车，不少网友对现阶段AI产品炒作嗤之以鼻。
我真的很讨厌现在演示造假变得如此正常化
乃至还列出了三大炒作典范：Devin、rabbit、Humane。
也有网友调侃：Devin至少节制了看起来很忙的技巧。
嗯？打工人有被内涵到。
不过也有一些支持的网友，比如这位沃顿商学院的教授Ethan Mollick。
他声称自己有早期访问权，在体验中创造真的很有趣。
他认为现在将Agent视作“炒作”为时尚早，未来几个月Agent的能力将十分强大。
号称“天下首个完备自主的AI软件工程师”故意思的是，演示造假事宜爆出来的韶光，间隔Cognition AI推出Devin仅过去了一个月。
咱们一起来回顾一下。
一个月前的3月13日，Cognition AI在推特上先容了自家推出的Devin，并称其为“天下上首个AI软件工程师”。
只需一句指令，它可端到端地处理全体开拓项目。
主创先容，Devin在长程推理和方案上面下了很大功夫，可以方案和实行须要数千个决策才能完成的繁芜软件工程任务。
详细来说有6大功能：
端到端构建和支配程序，可以办理的不但是代码问题，还包括与之干系的全体事情流；
自主查找并修复bug；演习和微调自己的AI模型；修复开源库；为成熟的生产库做贡献；超强学习能力，实时补足知识和能力短板。Devin完全技能报告中显示，在SWE-bench基准测试中，无需人类赞助，Devin可办理13.86%的问题
——这个数据看起来不高，但实在已经超过了此前所有AI大模型的成绩。
目前数一数二的GPT-4，在同个测试中的成绩只有1.74%，且必须配备一个人类，提示它要处理哪些文件。
当时的Devin团队一副没在怕的样子。
虽然没开放公测，但陆陆续续给出了一些内测名额。
在互联网上搜索一番，创造上手体验过的人给的买家秀反馈是这样的：
热衷AI的沃顿商学院教授Ethan Molick试过后，认为其新颖的实时交互办法是最值得关注的。
他哀求Devin开拓一个阐明“创业公司融资中的股权稀释”的网站，随后透露，AI还无法在没有任何帮助的情形下，自主且无差错地完成这项事情。。
但也有人直接表示，体验过后确实是有被震荡到。
巧的是，截图中的这个首批内测体验者Bubna哥，是AI根本举动步伐创业公司Modal Labs的CTO。
后来他和Devin还联手搞了个新闻。Devin用自家老板的账号，潜入Modal Labs的事情群，和Bubna哥一番互换过后，根据回答调度了代码方案，办理了一个技能问题。
△图中的发言人背后实在是Devin
当然，除了看上去很厉害的技能，Devin还镀了一层光环，那便是背后公司Cognition，虽然是个小初创，但在招人信息中明晃晃写着：
我们团队手里握着10块IOI金牌呢～
技能演示和团队背景都吸睛Max，直接给Devin的传播力度添砖加瓦。
也正是由于对Devin的关注，代码天生领域在过去一段韶光里进展是突飞年夜进。暂时无法在飞书文档外展示此内容比如，GitHub三万Star项目MetaGPT就上新了“开源版Devin”，名为数听说冥器（Data Interpreter）：
阿里Qwen成员Binyan Hui等人开启了OpenDevin项目，一个月过去已经在GitHub揽星21.5k；
普林斯顿那边动作更快，用GPT-4打造了开源SWE-agent，开箱即用，可修复GitHub存储库中真实bug。
在25%的SWE-bench测试集上，它实现了与Devin演示视频中相似的准确度—— 办理了12.29%的问题。
还有各个大厂也开始入驻自己的AI程序员……
One More Thing结果现在发生这件事儿，怎么说呢……
往好了想，真是救大命了，所有的程序员们都要松口气了，还好还好，AI暂时还无法端到端端走我的饭碗。
往坏了想，真是要了命了，这么一个备受关注的明星项目居然是个只能活在视频里的demo。
难道天下真的是个巨大的草台班子？？？
参考链接：[1]https://twitter.com/oran_ge/status/1778968102610546762?s=46&t=S65Q3TssMnzcxLETGqaDFQ[2]https://twitter.com/0interestrates/status/1779268441226256500[3]https://news.ycombinator.com/item?id=40008109[4]https://www.youtube.com/watch?v=tNmgmwEtoWE
— 完 —
量子位 QbitAI · 头条号签
关注我们，第一韶光获知前沿科技动态约