1 引言

本文为论文《Search-o1：让推理模型学会边思考边检索》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

近期涌现的大推理模型（LRM），以 OpenAI 的 o1 [22]、Qwen-QwQ [54] 和 DeepSeek-R1 [7] 为例，通过大规模强化学习培育出令人印象深刻的长序列逐步推理能力，为解决复杂推理问题提供了有前景的方案 [46, 31, 59, 84, 73, 74, 67]。这一进展启发了一系列旨在探索和复现 o1 类推理模式的基础工作，以将其应用于更广泛的基础模型 [49, 19, 77, 80, 71, 25, 45]。

值得注意的是，o1 类推理模式引导 LRM 进行更缓慢的思考过程 [6, 61]，通过隐式分解复杂问题、生成长内部推理链，然后逐步发现合适的解决方案。尽管这一特性增强了推理的逻辑连贯性与可解释性，但延长的思维链可能导致过度思考 [4] 并增加知识不足的风险 [60, 51, 2]，任何知识缺口都可能传播错误并扰乱整个推理链 [79, 40, 44, 41]。

为解决这一局限，我们进行初步实验以评估 LRM 因知识缺口而解码出不确定词汇的频率。如图 1 所示，延长的思考过程导致 LRM 在挑战性推理问题中频繁解码出大量不确定词汇，“perhaps"一词在每次推理过程中的平均出现次数超过 30 次。值得注意的是的，这些问题的高度专业性也使得人工推理验证变得复杂，往往会带来显著成本 [63]。因此，自动化补充 o1 类推理过程所需的知识已成为一项重大挑战，限制了 LRM 在实现普遍可信推理方面的进展。

为阐明这一问题，我们的核心动机是通过自主检索来增强 LRM 的 o1 类推理模式。我们提出 Search-o1，它将 LRM 的推理过程与两个核心组件相结合：一个代理式检索增强生成（RAG）机制与一个知识精炼模块。这一设计旨在使 LRM 能够将代理式检索工作流纳入推理过程，在面对知识短缺时按需检索外部知识，同时在整个过程中保持连贯性。

具体而言，如图 1 所示，我们的结果表明，传统的面向问题的 RAG 技术相比于直接推理，并不能有效解决知识缺口（标准 RAG vs. 直接推理）。这一发现符合人类直觉，因为标准 RAG 仅在问题层面检索一次相关知识，而在复杂推理场景中，每个推理步骤所需的知识往往各不相同 [83, 41, 11]。与它们不同，Search-o1 采用代理式 RAG 技术，引导模型在面对知识短缺时主动解码检索查询，从而触发检索机制以获取相关外部知识。受益于此设计，我们的检索机制可以在单次推理会话中多次触发与迭代，以满足不同推理步骤的知识需求。

为有效将检索到的知识整合到 LRM 的推理过程中，我们在实际实验中进一步识别出在将检索文档直接纳入推理链时面临的两个关键挑战： (1) 检索文档中的冗余信息。检索到的文档往往冗长且包含冗余信息，直接将其输入 LRM 可能会扰乱推理的原始连贯性，甚至引入噪声 [62, 72, 26]。 (2) 对长文档理解能力有限。大多数 LRM 在预训练与微调阶段被专门针对复杂推理任务进行对齐。这种侧重导致其通用能力出现一定程度的灾难性遗忘 [39, 10]，最终限制了其对检索文档的长上下文理解能力。

为解决这些挑战，我们引入 Reason-in-Documents 模块，该模块独立于主推理链运行。该模块首先基于当前检索查询与先前的推理步骤，对检索到的文档进行深入分析，然后生成与先前推理链无缝衔接的精炼信息。

图 1： 使用 QwQ-32B-Preview 分析推理不确定性。左侧：推理过程中识别出的不确定词汇示例。右侧：GPQA 钻石集中每次输出的高频不确定词汇平均出现次数。

总结而言，我们的贡献如下：

• •

我们提出 Search-o1，这是第一个将代理式检索工作流整合到 LRM 的 o1 类推理过程中的框架，用于实现自主的知识补充。

• •

为有效将外部知识整合到推理过程中，Search-o1 将推理过程与代理式 RAG 机制以及知识精炼模块相结合。这一设计使 LRM 能够按需检索外部知识，并将其无缝整合到推理链中，同时保持原有的逻辑流程。

• •

在五个复杂推理领域和六项开放域问答基准上，我们证明 Search-o1 在推理领域取得了显著性能，同时保持了通用知识的大幅提升。进一步的定量分析证实了其效率与可扩展性，为可信的 LRM 推理提供了实践指导。