全球首个AI程序员Devin造假?业内人士:质疑有理,但程序员已离不开AI

澎湃新闻记者 喻琰 实习生 万卉
2024-04-17 07:58
来源:澎湃新闻

·号称全球首个AI人工智能软件师Devin日前被网络博主质疑造假、炒作。业内人士分析认为,该位博主质疑有理有据,Devin的“惊人效果”确实存在一些商业炒作的嫌疑。

号称“全球首个AI人工智能软件师”Devin,如今被网络博主质疑造假。4月9日,一位自称有35年软件工程师经验的网络博主卡尔逐帧复现了Devin的演示视频并提出四点质疑,包括Devin所展示的编程能力存在一定欺骗性,“它处理的任务并非随机,而是演示者精心选择的刻意呈现”;此外,Devin在操作过程中看似修复了许多问题,但这些问题很多都是Devin的“自导自演”。

“全球首个AI人工智能软件师”Devin被网络博主质疑造假。(04:12)
质疑视频发出后,引发众多科技爱好者评论。上海市人工智能行业协会、大模型专班负责人王逸浩日前在接受澎湃科技(www.thepaper.cn)采访时表示,卡尔的质疑有理由据,Devin看似“惊人的效果”确实存在商业炒作、包装的嫌疑。但不可否认,AI如今已经成为程序员的必用工具之一。

首个AI程序员被指炒作,多次“自修自建”代码夸大实际效果

Devin是由Cognition Labs于今年3月12日发布的一项AI编程产品,并被宣传为“全球首位AI工程师”。在Cognition官网发布的长达1分50秒的演示视频里,Devin只需一句指令,就能实现端到端地处理整个开发项目,此外视频显示它具备自主学习新技术、端到端构建和部署应用、自主查找和修复代码问题等能力;还可以按照用户需求同时执行多步骤工作流程,程序员们可以实时观察其进度,发现错误时,跳出指令就能修正。

卡尔针对上述视频经过逐帧比对后提出质疑。他认为,在上述演示视频的2.936秒处,屏幕左上角显示“他们搜索过这个任务”,这意味着演示视频中Devin处理的任务并非随机,而是演示者选择的。卡尔怀疑,这有可能意味着Devin在大部分的工作中并不出色,甚至比视频演示中的还要糟糕。

上述演示视频的2.936秒,屏幕左上角显示“他们搜索过这个任务”。

在运行的过程中,Devin出现了数次“自建自修”的情况,看似在做代码修复,实际上并不是修复它在互联网上找到的代码,也不是客户要求它修正的代码,而是自己生成的错误代码。卡尔质疑Devin的实际运行效率可能很低下,且存在很多毫无意义的操作。

此外,演示视频的前部分显示是3月9日下午3时25分,但后半部分的时间段却显示的是9日21时41分,这意味着Devin处理工作前后有6个小时20分钟的间隔。而卡尔在自己实际操作的过程中,仅花了35分55秒就可以复现Devin的工作。

卡尔表示自己并非反对AI,但他想谴责的是Devin团队这类“AI炒作”的行为。他希望人们对互联网上的任何信息,尤其是人工智能相关的信息保持谨慎怀疑的态度。

业内人士认为博主质疑有理有据

澎湃科技注意到,目前Devin 还没有开放使用,只能通过邮箱提交申请,外界对Devin的认知,基本都来自官方给出的演示视频,以及少数第三方开发和产品人员的评价。

据外媒报道,Cognition AI背后的团队成员共10人,核心团队共有3人,分别是Scott Wu、Steven Hao和Walden Yan,团队非常年轻。全体成员共拥有10枚国际信息学奥林匹克竞赛(IOI)金牌,很多成员在青少年时期也参加过信息学国际奥林匹克竞赛等。在发布“全球首个AI程序员Devin”这一信息后,Cognition AI备受外界关注。公开资料显示,此前,Cognition AI已经获得了彼得·蒂尔的Founders Fund基金领投的2100万美元A轮融资。

眼下,AI编程究竟有没有夸大、炒作的嫌疑?AI程序员相比人类程序员可以做哪些事?

上海市人工智能行业协会、大模型专班负责人王逸浩告诉澎湃科技,AI程序员的存在确实可以协助人们独立完成简单的开发工作,甚至可以脱离一名真正程序员的帮助,能减少大量不需要创新的重复劳动,例如批量修改代码的命名风格、代码的依赖关系等。但卡尔针对Devin的质疑目前看来也有理有据,从演示的内容来看,Devin做文书工作的时长是一位经验丰富程序员的十二倍左右。

王逸浩认为,从其他相似业务的使用体验效果来看,Devin的“惊人效果”确实存在一些商业炒作、包装的嫌疑。一般诸如微软Copilot这样的工具都需要提供充足的上下文,而Devin明显对程序的逻辑理解都还不到位。

不过,在王逸浩看来,尽管Devin的功能存在部分夸大的情况,但并不能否认AI编程的发展趋势,“程序员们都在熟练地拥抱大模型带来的便利,试用各类代码辅助工具。程序员们离不开这些助手,类似于设计师们离不开Stable Diffusion。”

    责任编辑:宦艳红
    图片编辑:蒋立冬
    校对:丁晓