2 相关工作

本文为论文《Search-o1：让推理模型学会边思考边检索》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

大推理模型。

大推理模型专注于通过延长推理步骤来提升测试时性能，这与传统大型预训练模型通过增加模型规模或扩大训练数据来在训练阶段实现可扩展性形成对比 [17, 66, 50, 85, 76]。研究表明，测试时扩展可以提升小模型在复杂任务上的推理能力 [15, 75]。最近，OpenAI-o1 [22]、Qwen-QwQ [54] 和 DeepSeek-R1 [7] 等模型明确展示了思维链推理 [59]，模拟了人类在数学、编程等领域中的解题方式。

已探索各种方法来实现 o1 类推理能力。一些方法将策略模型与奖励模型与蒙特卡洛树搜索（MCTS） [25] 相结合，尽管这并未将推理内化于模型中。其他研究在推理路径训练期间引入故意错误，以部分内化这些能力 [49, 71]。此外，蒸馏训练数据已被证明可以增强模型的 o1 类推理技能 [45]。o1 类推理范式在多样化领域（包括视觉-语言推理 [65, 11, 48, 69]、代码生成 [81, 32]、医疗 [3] 和机器翻译 [57] 等）上表现出强大的性能。然而，这些方法受限于依赖静态的参数化模型，在内部知识不足时无法利用外部世界知识。

检索增强生成。

检索增强生成（RAG）引入检索机制以解决生成模型静态参数的局限性，使其能够访问外部知识来解决更复杂的问题 [30, 82, 35, 86]。该领域的先进研究从多个方面增强了 RAG 系统，包括检索的必要性 [53]、查询预处理 [43, 58]、检索文档压缩 [64]、去噪 [42, 12]、精炼 [24, 27, 88]、指令遵循 [9, 8, 87] 等。此外，一些研究探索了端到端模型训练以实现 RAG 系统 [1, 36, 33, 34] 以及基于知识图的 RAG 系统 [14, 37]。

最近，代理式 RAG 系统使模型能够自主确定何时以及检索哪些知识，展现出增强的规划与问题解决能力 [5, 56, 70]。还有研究将基于代理的系统与 MCTS 相结合，利用检索器和其他工具来优化复杂工作流 [78]。然而，现有的 RAG 方法并未将 o1 类模型的强大推理能力相结合，限制了在解决复杂任务时进一步提升系统性能的潜力。

图 2：推理方法对比：（a）无检索的直接推理常因知识缺失而不准确。（b）我们的代理式检索增强推理方法改善了知识访问，但通常会返回冗长且冗余的文档，扰乱连贯推理。（c）我们的 Search-o1 将简洁准确的检索知识无缝整合到推理过程中，实现精确且连贯的问题求解。