“
论文链接：https://arxiv.org/pdf/2512.17901v1
“
项目地址：https://github.com/ASTRAL-Group/LoRe
现在的推理大模型（LRM）像 OpenAI o1 和 DeepSeek-R1 确实很强，但它们有时候表现得非常“神经质”。你给它一个超简单的数学题，它可能在那儿嘀咕半天（过度思考）；或者给它一个复杂的嵌套问题，它反而草草了事。这就像是一个学生，做加减法用掉一张草稿纸，做微积分却只写一个“解”，这显然不符合咱们人类的思维逻辑。
为了解决这个问题，来自 UIUC、MIT、宾大、纽大等机构的研究者们提出了 **LORE (Laws of Reasoning)**，试图给大模型的推理行为立规矩。
一、 研究背景：为什么 AI 需要“基本法”？
在过去的一年里，我们见证了推理模型的爆发。这些模型采用“先思考、后回答”的模式，在处理复杂逻辑时表现惊人。但研究者发现，大模型的推理行为往往是反直觉的。
1. 任务定义与动机
目前的模型训练主要靠海量的 CoT（思维链）数据，但这些数据大多是启发式生成的，没有明确的规则告诉模型：“多难的问题该花多少精力”。这导致了模型在推理预算分配上的低效。动机很简单：我们能不能用数学理论来定义什么是“合理的推理行为”？如果模型能像人一样，根据问题的复杂度动态调整思考量，它的性能会不会更上一层楼？
2. 核心贡献
论文提出了LORE（推理定律）框架，首次对推理复杂度和计算量之间的关系进行了形式化定义。他们不仅提出了“计算定律”和“准确率定律”，还搞出了一个LORE-BENCH来考评现有的模型，并最终通过一种叫SFT-Compo的微调方法，让模型真正学会了“看菜下饭”。
二、 相关工作：从 o1 到各种“长度控制”
在 LORE 出现之前，学术界和工业界已经意识到推理长度是个问题。比如 OpenAI o1 开启了推理缩放（Scaling Law）的大门，证明了增加测试时计算量（Test-time Compute）能变强。
随后，DeepSeek-R1 和 Phi-4 等模型通过强化学习（RL）进一步压榨了这种推理能力。为了不让模型乱说话，出现了一系列“推理长度控制”的技术，有的在后处理阶段干预，有的在训练阶段加入长度约束。但这些方法大多是“头痛医头”，缺乏一个统一的理论支撑。LORE 的不同之处在于，它不只是想控制长度，而是想让长度和问题的“本质难度”挂钩。
三、 核心方法：LORE 推理定律的“奥义”
两大核心定律
研究者提出了推理的两大基本定律，就像物理学中的牛顿定律一样：
1. 计算定律（Compute Law）
核心假设：推理所需的计算量应该与问题复杂度成正比。
用数学表达就是：
其中：
- ：模型在问题x上生成的推理token数量
- ：问题的复杂度（用最少步骤数衡量）
- ：比例常数
- ：可忽略的系统开销
简单说就是：问题越难，思考时间应该越长，而且是线性增长的关系。
2. 准确率定律（Accuracy Law）
核心假设：准确率应该随复杂度指数衰减。
其中是准确率，是衰减率。
这个很好理解：问题越复杂，每一步出错的可能性累积，整体准确率就像滚雪球一样下降。
两个可测量的性质
但问题来了：如何衡量"复杂度"？论文巧妙地绕过了这个难题，提出用两个容易验证的性质来替代：
性质1：单调性（Monotonicity）
- 对于计算定律：问题越复杂，推理token越多
- 对于准确率定律：问题越复杂，准确率越低
性质2：可组合性（Compositionality）
- 对于计算定律：两个独立问题的组合，推理token应该等于各自的和
- 对于准确率定律：组合问题的准确率应该等于各自的乘积
这两个性质的妙处在于：不需要知道具体的复杂度值，只需要比较相对关系或测试加法/乘法规律就能验证。
LoRE-Bench评估基准
为了测试模型是否遵守这些定律，研究者开发了两套测试集：
LoRE-Mono（测单调性）
核心思路：从一个种子问题出发，生成30个难度递增的变体。比如矩阵更新问题：
- 变体1：执行1次矩阵操作
- 变体2：执行2次矩阵操作
- …
- 变体30：执行30次矩阵操作
这样复杂度的排序就非常明确了。覆盖数学、科学、语言、代码四个领域，共40个种子问题。
LoRE-Compo（测可组合性）
从MATH500数据集中随机抽取不同学科的问题对（如代数+几何），构成250个三元组：。然后用归一化平均绝对偏差（nMAD）来衡量偏离程度：
nMAD越小，说明可组合性越好。
改进方法：SFT-Compo
发现问题后，如何改进？论文提出了一个简单但有效的监督微调方法。
核心思想：挑选那些最符合可组合性的推理路径作为训练样本。
具体步骤：
- 对每个三元组，让模型生成K=8个输出
- 从所有答案正确的组合中，选出最满足加法规则的那组：
- 用这些精选的样本进行微调
就像教学生做题，专门挑那些"思考时间分配合理"的答案作为范例。
四、 实验效果：AI 竟然不识“加法”？
研究者用 LORE-BENCH 测试了包括 DeepSeek-R1、Phi-4 在内的多款顶级模型，结果让人大跌眼镜。
1. 模型虽然不傻，但不懂协作
实验发现，大部分模型在单调性上表现尚可——给更难的题，它们确实会多想一会儿。但在组合性上几乎全部翻车！当你把两个简单的题拼成一个大题时，模型往往会产生“思考塌缩”，总思考量远少于单独做两道题的和，这直接导致了组合问题准确率的暴跌。
2. SFT-Compo：让模型学会“1+1=2”
针对这个弱点，研究者提出了一种微调方法。他们专门筛选出那些推理过程符合“相加原则”的正确样本，对模型进行有针对性的训练。 实验结果显示，经过这种微调的模型，不仅在 LORE 考评中得分更高，在 GSM8K、MATH500 等硬核数学竞赛榜单上也全面进化。比如在 8B 规模的模型上，平均 Pass@1 准确率提升了足足 5 个百分点！
有趣的是，这种训练还产生了“协同效应”：你只是教模型在思考长度上学会加法，结果它在代码和科学问题的逻辑单调性上也变强了。这说明，“学会如何高效分配思考量”是通用推理能力的底层基石。
五、 论文总结
这篇文章最大的贡献在于，它给一直处于“玄学”状态的大模型推理过程提供了一把科学的尺子。它告诉我们，一个优秀的 A大模型不应该只是回答正确，它的思考过程也必须是“合乎比例”的。
通过 LORE 框架，我们发现当前的推理模型虽然在刷榜，但在处理复杂逻辑组合时依然存在巨大的缺陷。而通过强制模型遵循“组合性”原则，我们可以不费吹灰之力地提升它们的实战表现。这为未来开发更智能、更像人类思维的“Agentic RAG”或科学发现大模型 提供了非常重要的指导。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
