【财新网】GPT-4可能正在变“笨”。近日,美国研究人员评估了ChatGPT模型在不同时期版本的表现能力,发现GPT-3.5和GPT-4在某些性能上正在变差,尤其是GPT-4求解数学问题的能力,GPT-4在3月表现出的97.6%准确率到6月降至2.4%。相关论文发表在预印本平台ArXiv上,尚未经过同行评议。
对此,ChatGPT制造商OpenAI公司回应称,新版本的模型会改进大多数指标,也有可能在一些任务上模型性能会变差,用户可以使用固定版本的模型而非GPT-4的最新版本。
【财新网】GPT-4可能正在变“笨”。近日,美国研究人员评估了ChatGPT模型在不同时期版本的表现能力,发现GPT-3.5和GPT-4在某些性能上正在变差,尤其是GPT-4求解数学问题的能力,GPT-4在3月表现出的97.6%准确率到6月降至2.4%。相关论文发表在预印本平台ArXiv上,尚未经过同行评议。
对此,ChatGPT制造商OpenAI公司回应称,新版本的模型会改进大多数指标,也有可能在一些任务上模型性能会变差,用户可以使用固定版本的模型而非GPT-4的最新版本。
责任编辑:冯禹丁 | 版面编辑:刘春辉
GPT革命|张钹院士:ChatGPT标志着人工智能开始走向通用
2023年07月10日ChatGPT不同语言表现不一?专家呼吁强化其他语言数据资源
2023年06月29日财新网所刊载内容之知识产权为财新传媒及/或相关权利人专属所有或持有。未经许可,禁止进行转载、摘编、复制及建立镜像等任何使用。
如有意愿转载,请发邮件至hello@caixin.com,获得书面确认及授权后,方可转载。
免费订阅财新网主编精选版电邮
原图
近日,美国研究人员评估了ChatGPT模型在不同时期版本的表现能力,发现GPT-3.5和GPT-4在某些性能上正在变差,尤其是GPT-4求解数学问题的能力,GPT-4在3月表现出的97.6%准确率到6月降至2.4%。图:视觉中国