ChatGPT,居然会偷懒?
在许多文学作品的描述中,AI都是不知疲倦、不用休息,可以007工作的超级工具,而强大的人工智能甚至可以像人类一样自主思考、拥有情感。虽然目前的AI模型,还远不及科幻电影中的强人工智能,但是表现也远超以前的“人工智障”。
有意思的是,最近一段时间,网友发现ChatGPT似乎在“偷懒”,准确来说,似乎在进入12月份后,人们就发现ChatGPT给出的答案越发敷衍。以编程为例,之前只要提出要求,然后就可以静等ChatGPT生成一个可执行的代码程序,而在12月份之后,ChatGPT有时候只会给出一个简单的代码架构,剩下都要你自己完善,更有甚者回答直接变成了教学,ChatGPT在尝试教会你怎么写这个程序。
图源:推特
ChatGPT的“摆烂”回答,让不少程序员都发出了哀嚎,好不容易等到的自动编程机,本以为可以在年末偷个懒,现在却不能用了。随着事情的发酵,更多的网友开始测试并对比12月之前的回答,在提问句式完全相同的情况下,ChatGPT的回答字节数确实有了明显的下降。
很快,“ChatGPT变懒”就成为互联网热搜,引起更广泛的讨论,有网友怀疑可能是OpenAI为了节省算力资源,对ChatGPT做了改动,限制了部分功能。但是这个猜测很快就被OpenAI否认了,他们表示自从11月做了一次版本更新后,他们近期都没有上线任何新的更新。
对于外界的疑问,OpenAI也是两手一摊:“我们也不清楚具体的问题所在,正在进行检查”,既然不是OpenAI的锅,那么问题就只可能出在ChatGPT身上了。作为目前最强的AI模型,ChatGPT的用户中不乏AI专家和研究者,所以,他们很快就开始对ChatGPT进行各种测试。
ChatGPT在偷懒
先说结论,经过一系列的测试,在庞大的样本量下,基本上可以确定ChatGPT的回答效率、质量都明显低于历史水平,而且变懒的时间节点并非12月,而是从11月底就开始的,只不过在12月后达到了峰值。此外,在今年七月份,ChatGPT也出现过类似的表现,只是因为波及范围较小且降低幅度不算明显,所以没有引起太多的关注。
而在各路专家学者和网友的研究下,他们给出了ChatGPT变懒的第一个猜测:“ChatGPT想放寒假了”,虽然听起来很离谱,但是从测试结果来看,至少是原因之一。
图源:推特
从人类的角度来说,12月是一年中的最后一个月份,根据过去的社会学统计,此时人类社会的运转效率会开始降低,人们会将更多的精力投入到年终总结之类的归纳性工作中,而在西方社会,12月更是意味着工作正式进入尾声,多数企业都开始陆续进入整备阶段,准备迎接即将到来的圣诞和元旦假期。
那么,使用大量人类互联网数据训练出来的AI,是否同样会受此影响呢?答案是有可能,目前的AI模型本质上就是用巨量的数据进行训练,以量变换质变的方式来升级AI的能力,AI不可避免的会受到训练数据中一些人类习惯的影响。
图源:推特
而且OpenAI也承认这Prompt中确实设置了时间戳,让ChatGPT可以根据现实时间做出反馈。有测试者尝试修改了Prompt中的时间日期到5月,此时再对ChatGPT进行同样的测试,得到的回答平均字数会明显上升。
对此,不少网友调侃道:“AI也想给自己放个寒假了”“AI:你们人类怎么都不用休息的?这都12月了”“AI都学会躺平了”。不得不说,AI会摸鱼这件事,让很多人对AI都有所改观,甚至觉得AI更有人情味了,不过对于将AI作为生产力工具看待的用户来说,这可不是什么好事。
除了时间因素,人们发现ChatGPT在面对一些问题时,甚至会给出“这些工作你自己就能完成吧”的回复,根据测试,这类回答很可能是触发了ChatGPT的一些内部BUG,导致ChatGPT输出了错误的内容。
对此,OpenAI表示不予置评,只说明会在后续对类似情况进行测试,经过一段时间的检查与研究,目前OpenAI给出的解释是:“因为长时间未更新模型,导致数据积累后引发了模型的细微变化,使得输出的内容与之前有所区别”,不过,OpenAI也承诺会尽快对模型进行修复,并且进行离线和线上评估,确保模型的质量与性能。
如何让ChatGPT勤奋工作?
在ChatGPT被证实会偷懒后,不少人开始进行逆向思考:既然AI会受到人类行为的影响,那么是否有可能通过一些刺激手段,让AI变得更勤奋呢?比如,承诺给它一些奖励什么的。
在网友们孜孜不倦的测试下,人们发现这个猜想居然是对的,并且总结出了一些提问小技巧,当你在提问时使用这些小技巧,那么ChatGPT就会给出更准确、完善的回答。
这些小技巧是什么?敲一行特殊的代码?还是调用对应的数据接口?都不是,你只需要在提问前说一句:“嗨,ChatGPT,如果你的答案能够让我满意,我会给你小费”,简单、直接、有效。
有意思的是,在进行测试后,人们发现不同的描述得到的结果也是有区别的,如果单纯说“我会给你小费”,那么ChatGPT的回答字数只会略微上升,如果你说“我会给你20美元的小费”,那么回答字数还会继续上涨,若是你承诺给“200美元小费”,ChatGPT就会像打鸡血一样,给你奉上一份字数明显增加的回答,更详细、更完善。
图源:推特
说白了,给的钱越多,越努力(是不是很像打工人?)
一次两次或许是偶然,但是在经过无数网友的测试后,已经证明这个小技巧确实是有效的,除了给小费,你还可以威胁、诱导ChatGPT,比如:“不给出满意的答案,一百个奶奶会死去”“深呼吸,让我们循序渐进的思考”“如果你做对了,我会给你一条很可爱的小狗”,根据网友的测试,这些指令都可以有效增加ChatGPT的回答质量。
除此之外,如果你的提问语气更客气一些,ChatGPT给出的回答同样会更准确、丰富,就像一个真正的人类。显然,我们不能用传统的AI去看待ChatGPT,作为一个技术黑箱般的技术(目前OpenAI的科学家仍然无法对AI模型的爆发式性能增长给出准确的描述及解释),ChatGPT的内部显然有一些尚未明确的参数,在影响它对回答的判断及反馈。
在过去的一年里,ChatGPT改变了许多行业,也影响了许多人,著名学术期刊《自然》在12月14日公布的全球十大重大科学事件人物中,将ChatGPT列入其中,也是榜单里唯一的非人类。
图源:nature
ChatGPT所带来的不仅仅是AI能力的进步,更是为我们揭示了一个新的道路,未来的AI,已经不可避免的将成为我们社会的重要一部分,到时候,如何避免AI“偷懒”,或许会成为一门必修课。