打脸奥特曼,GPT-4今年比去年还懒!网友在线实测出炉

AIGC动态11个月前发布 量子位
9 0 0

打脸奥特曼,GPT-4今年比去年还懒!网友在线实测出炉

AIGC动态欢迎阅读

原标题:打脸奥特曼,GPT-4今年比去年还懒!网友在线实测出炉
关键字:网友,惰性,小费,发现,完成率
文章来源:量子位
内容字数:2352字

内容摘要:


克雷西 发自 凹非寺量子位 | 公众号 QbitAIGPT-4变懒的问题,又有新进展。
就在今天凌晨,奥特曼发推称,GPT-4这个毛病在新的一年应该好多了!
关于GPT-4变懒,网友的吐槽已是不计其数,其中最多的就是与代码相关的任务:
完成度不高不说,还会被分割成一个一个小块,使用时需要逐一复制。
对于最新版本,一位博主体验之后表示,自己尝试给一年级的孩子做了个学习用的小游戏,效果还不错。
但也有人不认同,比如这位网友就发现,ChatGPT回复的长度虽然增加了,但是很多都是车轱辘话,干正事依旧摆烂。
他让ChatGPT把一些文本翻译成17种语言,结果叽里呱啦说了一堆就是不翻译。
为了消除个体差异,有网友用数据集测试了新的ChatGPT,结果……
新版反而更懒了?这位网友用GitHub上开源的一套“lazy benchmark”测试了0125(24年1月最新版)和1106(23年11月的上一版)GPT-4模型,发现新版甚至还不如以前,变得更懒了。
这个测试数据集包含了与代码相关的任务,用正确完成的比例间接反应“懒惰”程度,完成率越高说明“惰性”越小。
结果,对于其中的代码比较(Unifi


原文链接:打脸奥特曼,GPT-4今年比去年还懒!网友在线实测出炉

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...