Command Palette
Search for a command to run...
当推理遇见其法则
当推理遇见其法则
Junyu Zhang Yifan Sun Tianang Leng Jingyan Shen Liu Ziyin Paul Pu Liang Huan Zhang
Abstract
尽管大型推理模型(Large Reasoning Models, LRMs)表现出优越的性能,但其推理行为往往具有反直觉性,导致推理能力未能达到最优。为从理论上形式化期望的推理行为,本文提出“推理定律”(Laws of Reasoning, LoRe),构建了一个统一框架,用以刻画LRMs内在的推理模式。我们首先提出“计算定律”(compute law),其核心假设是:推理所需的计算量应与问题复杂度呈线性关系。在此基础上,进一步扩展LoRe框架,引入“准确率定律”(accuracy law)。由于实际中难以精确量化问题复杂度,我们通过检验定律的两个可操作性质——单调性(monotonicity)与组合性(compositionality)——来验证上述假设。为此,我们提出了LoRe-Bench,一个系统化评估大型推理模型上述两项可测性质的基准测试平台。实验结果表明,大多数推理模型展现出合理的单调性,但普遍缺乏组合性。针对这一问题,我们提出一种高效的微调方法,旨在强制模型满足计算定律下的组合性。大量实证研究表明,模型对计算定律的更高遵循程度,能够在多个基准测试上持续提升推理性能,并揭示了不同性质与定律之间的协同效应。项目主页:https://lore-project.github.io/