大语言模型（LLMs）在处理复杂推理和实时信息检索时面临两大挑战：知识局限性（无法获取最新外部知识）和检索灵活性不足（传统方法依赖固定检索流程）。现有方法如检索增强生成（RAG）和工具调用（Tool-Use）存在以下问题：

• RAG：单轮检索导致上下文不足，无法适应多轮交互场景。
• 工具调用：依赖大量监督数据，难以扩展。
  

SEARCH-R1，一种新的强化学习框架，使LLMs能够交替进行自我推理和实时搜索引擎交互。与现有的检索增强生成方法相比，SEARCH-R1通过强化学习优化LLMs展开，允许自主查询生成和战略利用检索信息。通过在七个数据集上的广泛实验，证明了SEARCH-R1显著增强了LLMs处理需要实时外部知识的复杂推理任务的能力。

核心方法

强化学习与搜索引擎整合

• 环境建模：将搜索引擎作为环境的一部分，LLM生成文本与检索交替进行。
• 算法支持：兼容PPO和GRPO算法，通过检索标记掩码（Retrieved Token Masking）提升训练稳定性。
  SEARCH - R1的RL框架公式如下：
  $$\underset{{\pi }_{\theta }}{\max }{E}_{x\sim \mathcal{D},y\sim {\pi }_{\theta }(\cdot \mid x;\mathcal{R})}\left[r_{\varphi }(x,y)\right]-\beta D_{KL}\left[{\pi }_{\theta }(y\mid x;\mathcal{R})||{\pi }_{\text{ref}}(y\mid x;\mathcal{R})\right]$$

其中，${\pi }_{\theta }$是策略LLMs，${\pi }_{\text{ref}}$是参考LLMs，$r_{\varphi }$是奖励函数，$D_{KL}$是KL散度。

与现有的LLMs强化学习方法不同，SEARCH - R1明确结合了检索和推理的交替进行，即${\pi }_{\theta }(\cdot \mid x;\mathcal{R})$，可以看作${\pi }_{}$