财新传媒
环科 > 要闻 > 正文

研究:GPT-4可能在变“笨” 解数学题准确率跌至2.4%

文|财新 周芊岍(实习),徐路易
2023年07月27日 08:13
研究发现,GPT-3.5和GPT-4在某些性能上正在变差,尤其是GPT-4求解数学问题的能力。OpenAI公司回应称,新版本的模型会改进大多数指标,也有可能在一些任务上模型性能会变差
近日,美国研究人员评估了ChatGPT模型在不同时期版本的表现能力,发现GPT-3.5和GPT-4在某些性能上正在变差,尤其是GPT-4求解数学问题的能力,GPT-4在3月表现出的97.6%准确率到6月降至2.4%。图:视觉中国

  【财新网】GPT-4可能正在变“笨”。近日,美国研究人员评估了ChatGPT模型在不同时期版本的表现能力,发现GPT-3.5和GPT-4在某些性能上正在变差,尤其是GPT-4求解数学问题的能力,GPT-4在3月表现出的97.6%准确率到6月降至2.4%。相关论文发表在预印本平台ArXiv上,尚未经过同行评议。

  对此,ChatGPT制造商OpenAI公司回应称,新版本的模型会改进大多数指标,也有可能在一些任务上模型性能会变差,用户可以使用固定版本的模型而非GPT-4的最新版本。

  推荐进入财新数据库,可随时查阅宏观经济、股票债券、公司人物,财经数据尽在掌握。

责任编辑:冯禹丁 | 版面编辑:刘春辉
推广

财新网主编精选版电邮 样例
财新网新闻版电邮全新升级!财新网主编精心编写,每个工作日定时投递,篇篇重磅,可信可引。
订阅