财新传媒
财新传媒
1111111
财新通行证
T中

研究:GPT-4可能在变“笨” 解数学题准确率跌至2.4%

文|财新 周芊岍(实习),徐路易
2023年07月27日 08:13
研究发现,GPT-3.5和GPT-4在某些性能上正在变差,尤其是GPT-4求解数学问题的能力。OpenAI公司回应称,新版本的模型会改进大多数指标,也有可能在一些任务上模型性能会变差
news 原图 近日,美国研究人员评估了ChatGPT模型在不同时期版本的表现能力,发现GPT-3.5和GPT-4在某些性能上正在变差,尤其是GPT-4求解数学问题的能力,GPT-4在3月表现出的97.6%准确率到6月降至2.4%。图:视觉中国

  【财新网】GPT-4可能正在变“笨”。近日,美国研究人员评估了ChatGPT模型在不同时期版本的表现能力,发现GPT-3.5和GPT-4在某些性能上正在变差,尤其是GPT-4求解数学问题的能力,GPT-4在3月表现出的97.6%准确率到6月降至2.4%。相关论文发表在预印本平台ArXiv上,尚未经过同行评议。

  对此,ChatGPT制造商OpenAI公司回应称,新版本的模型会改进大多数指标,也有可能在一些任务上模型性能会变差,用户可以使用固定版本的模型而非GPT-4的最新版本。

责任编辑:冯禹丁 | 版面编辑:刘春辉

财新网所刊载内容之知识产权为财新传媒及/或相关权利人专属所有或持有。未经许可,禁止进行转载、摘编、复制及建立镜像等任何使用。

如有意愿转载,请发邮件至hello@caixin.com,获得书面确认及授权后,方可转载。

推荐阅读

离岸信托90天补税窗口期疑问

特朗普召开矿业圆桌会 拟向关键矿产投资超20亿美元

境外收入征税 保险收益计税详解(含视频)

贵州山脚树矿难致16人死亡近三年 矿长涉罪被罢免全国人大代表

专栏|沃什遭遇信任危机

财新移动
说说你的看法...
分享
取消
发送
注册
 分享成功

订阅财新网主编精选版电邮>>