斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库
来源：量子位 | 公众号 QbitAI

奇月 发自 凹非寺

只是换一下数学题的变量名称，大模型就可能集体降智？？

斯坦福大学最新研究表明，在他们最新提出的Putnam-AXIOM测试集上，仅仅是更换一下原题目的变量名称、变量取值范围，模型的准确率就直线下降。

也就是说，大模型的数学推理能力并不是真正掌握了解题逻辑，很可能只是检索已存储的题目……

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

即使是表现最好的o1-preview，它的成绩也从50%下降到了33.96%，GPT-4o、Claude、Deepseek、Qwen等模型也几乎是全军覆没。

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

要知道，模型推理能力的稳健性可是非常重要的指标，能代表他们是否真正掌握了解决方法：

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

有网友锐评到：o1的o不会是overfitting的o吧？（doge）

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

还有热心网友做了解释，他认为模型的搜索空间会随着深度指数级增长，搜索时间越长，搜索的难度也会更高。

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库
斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

全新无污染的数学测试基准

LLM在复杂数学问题上的推理能力逐渐成为模型发展的关键挑战，然而现有的评估基准，如MMLU、MMMU、GSM8K和MATH等却面临着很多问题。

一方面，数据污染可能导致模型在评估中表现虚高，因为模型可能在训练过程中接触到了评估基准中的问题。

另一方面，最先进的模型在许多现有基准上已经达到或超过人类水平，这使得这些基准失去了应有的评估价值。

对此，斯坦福研究团队提出了Putnam-AXIOM基准，专用于评估模型在解决复杂数学问题上的能力。

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

该基准的原始数据集涵盖了1985-2023年William Lowell Putnam数学竞赛的236个问题。

随便举个例题大家感受一下：

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

这些题目涵盖了11个不同数学领域的问题，团队也进行了筛选，确保能产生便于自动化评估的\boxed{}答案。

同时，他们还借鉴MATH数据集的方法进行模型评估，并设计了一个等价函数，可以解决字符串不一致问题、和复杂的数学等价同质化问题。

除此之外，为防止模型在训练过程中遇到Putnam原问题而出现评估偏差，团队还引入了功能变异构建变异数据集。

变异分为变量变化（仅改变量名）和常数变化（修改数值属性）两类，能生成无限多相同难度的新问题，而且这些问题在互联网上没有现成的答案。

具体的变化形式就像这样：

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

在实验中，研究人员将1985-2023年的竞赛中的236个问题整理成标准化格式，使用LM Harness评估框架对多个开源模型的SOTA LLMs进行评估。

样本包括236个原始问题和52个变异问题，参与测试的模型包含OpenAI的o1-preview、GPT-4o、Claude-3.5 Sonnet等多种模型。

题目一变，模型集体懵

实验结果有些令人意外，模型们的表现都不太乐观。

首先来看看模型们在原始数据集上的表现。

多数模型的准确率都低于10%，曾获AI数学奥林匹克竞赛冠军的NuminaMath仅为4.66%，可见Putnam-AXIOM数据集难度真的很高。

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

而在变异数据集上，模型们的准确率则显著下降。

比如在原始数据集上表现最好的o1-preview，准确率为50%，而在变异数据集中则降到了33.96%。

也就是说，o1-preview模型在原始问题上表现可能虚高，之前的得分主要是依赖记忆而非真正的推理能力。

排名第二的Claude在原始数据集上的准确率为26.40%，而在变异数据集上的准确率降至18.86%，其他模型的分数也基本都下降了。

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

团队还进一步对OpenAI o1-preview和GPT-4o的答案进行了分析。

结果发现它们的错误都比较严重，在逻辑推理和数学严谨性方面存在着明显的缺陷。

下面一起康康几个例子。

比如o1-preview在解答问题时就没能提供充分的证明，它声称m的最大可能值是n，理由是m的上界是2n，但它没有说明为什么m的值介于n和2n之间不可行。

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

而GPT-4o则存在逻辑跳跃和不连贯的推理，比如在下面这道题中，它从逻辑上直接跳转到面积最小的几何形状是矩形这一观点，但并没有证明这一说法的合理性，而是将其默认为事实。

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

DeepSeek的模型也在关键步骤思维发生了跳跃，导致最终结果失误。

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

看来，提升大模型的数学能力还是任重道远呀！

不过斯坦福大学这篇文章中的Putnam-AXIOM基准的确缓解了现有基准饱和的问题。

它不仅为评估模型的数学推理能力提供了一个非常有挑战性的新方法，还实现了完全自动化评估、并提供了丰富多样的变体数据集。

团队也表示，虽然目前变体数据集生成过程复杂耗时，但未来如果能优化变体生成方法，将更有助于加速关于人工推理的研究。

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

论文：
https://openreview.net/forum?id=YXnwlZe0yf&noteId=yrsGpHd0Sf
代码：

https://anonymous.4open.science/r/putnam-axiom-B57C/README.md

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828


斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828 进入。

截止到12月25日 ”未来知识库”精选的100部前沿科技趋势报告

  1. 2024 美国众议院人工智能报告：指导原则、前瞻性建议和政策提案

  2. 未来今日研究所：2024 技术趋势报告 - 移动性，机器人与无人机篇

  3. Deepmind：AI 加速科学创新发现的黄金时代报告

  4. Continental 大陆集团：2024 未来出行趋势调研报告

  5. 埃森哲：未来生活趋势 2025

  6. 国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景

  7. 哈尔滨工业大学：2024 具身大模型关键技术与应用报告

  8. 爱思唯尔（Elsevier）：洞察 2024：科研人员对人工智能的态度报告

  9. 李飞飞、谢赛宁新作「空间智能」 等探索多模态大模型性能

  10. 欧洲议会：2024 欧盟人工智能伦理指南：背景和实施

  11. 通往人工超智能的道路：超级对齐的全面综述

  12. 清华大学：理解世界还是预测未来？世界模型综合综述

  13. Transformer 发明人最新论文：利用基础模型自动搜索人工生命

  14. 兰德公司：新兴技术监督框架发展的现状和未来趋势的技术监督报告

  15. 麦肯锡全球研究院：2024 年全球前沿动态（数据）图表呈现

  16. 兰德公司：新兴技术领域的全球态势综述

  17. 前瞻：2025 年人形机器人产业发展蓝皮书 - 人形机器人量产及商业化关键挑战

  18. 美国国家标准技术研究院（NIST）：2024 年度美国制造业统计数据报告（英文版）

  19. 罗戈研究：2024 决策智能：值得关注的决策革命研究报告

  20. 美国航空航天专家委员会：2024 十字路口的 NASA 研究报告

  21. 中国电子技术标准化研究院 2024 扩展现实 XR 产业和标准化研究报告

  22. GenAI 引领全球科技变革关注 AI 应用的持续探索

  23. 国家低空经济融创中心中国上市及新三板挂牌公司低空经济发展报告

  24. 2025 年计算机行业年度策略从 Infra 到 AgentAI 创新的无尽前沿

  25. 多模态可解释人工智能综述：过去、现在与未来

  26. 【斯坦福博士论文】探索自监督学习中对比学习的理论基础

  27. 《机器智能体的混合认知模型》最新 128 页

  28. Open AI 管理 AI 智能体的实践

  29. 未来生命研究院 FLI2024 年 AI 安全指数报告 英文版

  30. 兰德公司 2024 人工智能项目失败的五大根本原因及其成功之道 - 避免 AI 的反模式 英文版

  31. Linux 基金会 2024 去中心化与人工智能报告 英文版

  32. 脑机接口报告脑机接口机器人中的人机交换

  33. 联合国贸发会议 2024 年全球科技创新合作促发展研究报告 英文版

  34. Linux 基金会 2024 年世界开源大会报告塑造人工智能安全和数字公共产品合作的未来 英文版

  35. Gartner2025 年重要战略技术趋势报告 英文版

  36. Fastdata 极数 2024 全球人工智能简史

  37. 中电科：低空航行系统白皮书，拥抱低空经济

  38. 迈向科学发现的生成式人工智能研究报告：进展、机遇与挑战

  39. 哈佛博士论文：构建深度学习的理论基础：实证研究方法

  40. Science 论文：面对 “镜像生物” 的风险

  41. 镜面细菌技术报告：可行性和风险

  42. Neurocomputing 不受限制地超越人类智能的人工智能可能性

  43. 166 页 - 麦肯锡：中国与世界 - 理解变化中的经济联系（完整版）

  44. 未来生命研究所：《2024 人工智能安全指数报告》

  45. 德勤：2025 技术趋势报告 空间计算、人工智能、IT 升级。

  46. 2024 世界智能产业大脑演化趋势报告（12 月上）公开版

  47. 联邦学习中的成员推断攻击与防御：综述

  48. 兰德公司 2024 人工智能和机器学习在太空领域感知中的应用 - 基于两项人工智能案例英文版

  49. Wavestone2024 年法国工业 4.0 晴雨表市场趋势与经验反馈 英文版

  50. Salesforce2024 年制造业趋势报告 - 来自全球 800 多位行业决策者对运营和数字化转型的洞察 英文版

  51. MicrosoftAzure2024 推动应用创新的九大 AI 趋势报告

  52. DeepMind：Gemini，一个高性能多模态模型家族分析报告

  53. 模仿、探索和自我提升：慢思维推理系统的复现报告

  54. 自我发现：大型语言模型自我组成推理结构

  55. 2025 年 101 项将 (或不会) 塑造未来的技术趋势白皮书

  56. 《自然杂志》2024 年 10 大科学人物推荐报告

  57. 量子位智库：2024 年度 AI 十大趋势报告

  58. 华为：鸿蒙 2030 愿景白皮书（更新版）

  59. 电子行业专题报告：2025 年万物 AI 面临的十大待解难题 - 241209

  60. 中国信通院《人工智能发展报告（2024 年）》

  61. 美国安全与新兴技术中心：《追踪美国人工智能并购案》报告

  62. Nature 研究报告：AI 革命的数据正在枯竭，研究人员该怎么办？

  63. NeurIPS 2024 论文：智能体不够聪明怎么办？让它像学徒一样持续学习

  64. LangChain 人工智能代理（AI agent）现状报告

  65. 普华永道：2024 半导体行业状况报告发展趋势与驱动因素

  66. 觅途咨询：2024 全球人形机器人企业画像与能力评估报告

  67. 美国化学会 (ACS)：2024 年纳米材料领域新兴趋势与研发进展报告

  68. GWEC：2024 年全球风能报告英文版

  69. Chainalysis：2024 年加密货币地理报告加密货币采用的区域趋势分析

  70. 2024 光刻机产业竞争格局国产替代空间及产业链相关公司分析报告

  71. 世界经济论坛：智能时代，各国对未来制造业和供应链的准备程度

  72. 兰德：《保护人工智能模型权重：防止盗窃和滥用前沿模型》-128 页报告

  73. 经合组织 成年人是否具备在不断变化的世界中生存所需的技能 199 页报告

  74. 医学应用中的可解释人工智能：综述

  75. 复旦最新《智能体模拟社会》综述

  76. 《全球导航卫星系统（GNSS）软件定义无线电：历史、当前发展和标准化工作》最新综述

  77. 《基础研究，致命影响：军事人工智能研究资助》报告

  78. 欧洲科学的未来 - 100 亿地平线研究计划

  79. Nature：欧盟正在形成一项科学大型计划

  80. Nature 欧洲科学的未来

  81. 欧盟科学 —— 下一个 1000 亿欧元

  82. 欧盟向世界呼吁 加入我们价值 1000 亿欧元的研究计划

  83. DARPA 主动社会工程防御计划（ASED）《防止删除信息和捕捉有害行为者（PIRANHA）》技术报告

  84. 兰德《人工智能和机器学习用于太空域感知》72 页报告

  85. 构建通用机器人生成范式：基础设施、扩展性与策略学习（CMU 博士论文）

  86. 世界贸易组织 2024 智能贸易报告 AI 和贸易活动如何双向塑造 英文版

  87. 人工智能行业应用建设发展参考架构

  88. 波士顿咨询 2024 年欧洲天使投资状况报告 英文版

  89. 2024 美国制造业计划战略规划

  90. 【新书】大规模语言模型的隐私与安全

  91. 人工智能行业海外市场寻找 2025 爆款 AI 应用 - 241204

  92. 美国环保署 EPA2024 年版汽车趋势报告英文版

  93. 经济学人智库 EIU2025 年行业展望报告 6 大行业的挑战机遇与发展趋势 英文版

  94. 华为 2024 迈向智能世界系列工业网络全连接研究报告

  95. 华为迈向智能世界白皮书 2024 - 计算

  96. 华为迈向智能世界白皮书 2024 - 全光网络

  97. 华为迈向智能世界白皮书 2024 - 数据通信

  98. 华为迈向智能世界白皮书 2024 - 无线网络

  99. 安全牛 AI 时代深度伪造和合成媒体的安全威胁与对策 2024 版

  100. 2024 人形机器人在工业领域发展机遇行业壁垒及国产替代空间分析报告

  101. 《2024 年 AI 现状分析报告》2-1-3 页.zip

  102. 万物智能演化理论，智能科学基础理论的新探索 - newv2

  103. 世界经济论坛 智能时代的食物和水系统研究报告

  104. 生成式 AI 时代的深伪媒体生成与检测：综述与展望

  105. 科尔尼 2024 年全球人工智能评估 AIA 报告追求更高层次的成熟度规模化和影响力英文版

  106. 计算机行业专题报告 AI 操作系统时代已至 - 241201

  107. Nature 人工智能距离人类水平智能有多近？

  108. Nature 开放的人工智能系统实际上是封闭的

  109. 斯坦福《统计学与信息论》讲义，668 页 pdf

  110. 国家信息中心华为城市一张网 2.0 研究报告 2024 年

  111. 国际清算银行 2024 生成式 AI 的崛起对美国劳动力市场的影响分析报告 渗透度替代效应及对不平等状况英文版

  112. 大模型如何判决？从生成到判决：大型语言模型作为裁判的机遇与挑战

  113. 毕马威 2024 年全球半导体行业展望报告

  114. MR 行业专题报告 AIMR 空间计算定义新一代超级个人终端 - 241119

  115. DeepMind 36 页 AI4Science 报告：全球实验室被「AI 科学家」指数级接管

  116. 《人工智能和机器学习对网络安全的影响》最新 273 页

  117. 2024 量子计算与人工智能无声的革命报告

  118. 未来今日研究所：2024 技术趋势报告 - 广义计算篇

  119. 科睿唯安中国科学院 2024 研究前沿热度指数报告

  120. 文本到图像合成：十年回顾

  121. 《以人为中心的大型语言模型（LLM）研究综述》

  122. 经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版

  123. 波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告 英文版

  124. 理解世界还是预测未来？世界模型的综合综述

  125. GoogleCloudCSA2024AI 与安全状况调研报告 英文版

  126. 英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施

  127. 花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告

  128. 国际可再生能源署 IRENA2024 年全球气候行动报告

  129. Cell: 物理学和化学 、人工智能知识领域的融合

  130. 智次方 2025 中国 5G 产业全景图谱报告

上下滑动查看更多

声明：该文观点仅代表作者本人，本信息平台不持有任何立场，欢迎在下方【顶/踩】按钮中亮出您的态度。