
在人工智能蓬勃发展的当下,大型推理模型的能力不断突破,引发了学界和产业界的广泛关注。近期,一项来自中国科学院理论物理研究所陈锟副研究员团队与合作者的研究成果,为我们揭示了大型推理模型如 DeepSeek - R1 自主学习背后的奥秘,其提出的 “临界学习” 理论框架,更是在基础科学研究领域展现出巨大潜力,尤其是助力攻克量子场论核心计算,犹如为人工智能与科学研究的融合发展开辟了一条崭新道路。
灵感源于物理相变的理论突破
今年 1 月,DeepSeek 发布的推理模型 DeepSeek - R1 吸引了全球目光。陈锟团队敏锐察觉到该模型自发形成推理式思考模式这一现象背后的科学价值。作为长期专注于多电子场论研究的团队,他们尝试从统计物理的理论框架出发,解析这一过程。
陈锟团队以《大型推理模型的临界态学习及其在量子场论等领域中的应用》(Learning-at-Criticality in Large Language Models for Quantum Field Theory and Beyond)为题发表在预印本网站 arXiv 上

研究人员在分析模型推理模式时提出假设:DeepSeek 背后或许存在一个简约且普适的物理模型。通过对模型学习单一问题的观察,他们发现其自发涌现过程呈现出典型的临界物理现象特征,类似于水与水蒸气的相变。以 7 进制多位数加法(7 位数)测试为例,未经训练的 Qwen2.5 - 7B 模型起初无法解决该问题,但经单样本强化学习训练后,模型准确率大幅提升,且学习曲线呈现出在一定训练步骤后跃升的相变行为。进一步研究发现,在相变点附近,模型虽对训练样本准确率未达峰值,却在其他多位数加法问题上展现出最强泛化能力,此时模型具备最优性能平衡,既能灵活探索,又能提取底层规则,而过度训练则会使模型思维僵化。

图丨当大模型回答“12+98=?”问题时的推理过程(来源:陈锟)
基于此,团队构建独特理论框架。当大模型回答问题时,其推理过程中存在一些充满不确定性的 token 位置,被定义为 “决策点”,确定性 token 序列则抽象为 “概念”(Concept),决策点间的关联构成 “概念网络”(CoNet),以此建模大模型思考过程中的决策空间。在这个框架中,大模型长思维链中的抽象推理过程对应概念网络中的随机行走,模型从问题出发,通过探索网络路径抵达答案。而 DeepSeek 的 GRPO 强化学习算法及其变种,通过调节路径概率,使网络处于中间态,在单个学习样本训练时,该中间态处于连续相变点附近,呈现临界行为,如思考路径长度呈幂律分布,赋予模型高效性与灵活性,这便是 “临界思考模式” 的物理基础。由此,“临界学习”(LaC,Learning at Criticality)理论框架应运而生。

图丨左:大模型思考的随机行走;右:最小化 Policy 模型(来源:陈锟)
量子场论核心计算的攻坚成果
量子场论作为物理学的重要理论,其核心计算如费曼图的高阶计算等极为复杂。传统上,博士生掌握前沿场论问题的两圈费曼图解析计算方法需半年至一年,而三圈图计算对人工而言几乎不可行。在历史上,量子电动力学三圈散射图的解析计算耗费学界数十年时间。
陈锟团队选择在理论物理的典型问题 —— 计算高阶不同圈的费曼图上验证 LaC 的效果。他们利用 80 亿参数的 Qwen3 - 8B 模型,分阶段训练其求解松原频率求和问题。令人惊喜的是,仅通过低阶图例进行临界点训练,模型便可成功推导出未见过的高阶图解,表现甚至超越参数量高两个数量级的基准模型。数据显示,经 LaC 训练的模型在 1 - loop 和 2 - loop 图上准确率分别达 97.5% 和 56.9%,并能泛化至 3 - loop 和 4 - loop 问题,而未经训练的基准模型表现不佳。这一成果表明,LaC 方法能让模型在数据极度稀缺情况下,实现复杂长思维链推理学习,为解决量子场论核心计算难题带来新希望。

图丨简易模型中的强化学习动力学(来源:陈锟)
突破传统 AI 局限,重塑科研范式
传统 AI 方法依赖海量多样化数据学习以保持泛化能力,而 LaC 方法模拟人类专家在专业领域深度聚焦单个复杂问题的研究范式。这种方法创新性地突破了传统 AI 在基础科学领域的三大局限。
首先,解决数据稀缺条件下的学习效率问题。在基础科学研究中,数据往往难以获取,LaC 通过将大模型参数调整到临界状态,使模型能从极少量训练数据中实现最佳泛化性能。其次,克服高度专业化知识获取的障碍。例如在化学研究中,特定实验室积累的深度知识超出通用大模型范畴,LaC 可让模型集中攻克领域核心问题,掌握深度专业知识。最后,实现小样本情况下的深度专业化学习,这对数据稀缺的基础科学研究意义重大。
展望未来,LaC 理论有望进一步完善,不仅优化 AI 推理能力,还将为理解大模型中复杂推理能力的涌现机制提供理论工具。在科学研究中,它将催生新研究模式,助力 AI 从辅助工具向 “自主探索科学问题的智能体” 转变,真正实现 AI for Fundamental Science,推动人类在基础科学领域取得更多突破性进展,开启人工智能与科学研究深度融合的全新时代。
参考资料:
1.https://arxiv.org/abs/2506.03703
原文:https://www.toutiao.com/article/7517931670524232226/
声明:该文仅代表作者本人观点,欢迎在下方【顶/踩】按钮中亮出您的态度。