真实联网搜索Agent，7B媲美满血R1，华为盘古DeepDiver给出开域信息获取新解法

文章摘要

【关 键 词】 大型语言模型、搜索引擎交互、强化学习、信息检索、知识密集型任务

华为诺亚方舟实验室提出的Pangu DeepDiver模型通过Search Intensity Scaling（SIS）技术，实现了大型语言模型（LLM）与搜索引擎的自主交互，显著提升了7B参数模型在开域信息获取任务中的表现。该模型在复杂知识密集型问题上展现出接近百倍参数规模模型DeepSeek-R1的能力，并优于同期其他研究。

核心创新在于Agentic强化学习（RL）训练与真实互联网环境的结合。研究团队构建了高质量数据集WebPuzzle，包含24k训练样本和275条评测样本，涵盖跨页问答和模糊谜题。与基于Wikipedia的合成数据相比，真实互联网数据能更好地训练模型处理噪声、信息冲突及多轮验证等高阶能力。训练分为冷启动阶段（通过蒸馏教师模型学习基础能力）和RL阶段（通过GRPO算法自主探索），并设计了两阶段奖励机制：初期宽松奖励稳定训练，后期严格奖励突破性能瓶颈。

实验结果显示，DeepDiver在WebPuzzle上的准确率达38.1%，比蒸馏模型提升10个百分点。关键发现包括：1）SIS使模型能动态调整搜索轮次，问题难度越高，搜索强度越大；2）排除依赖内部知识的问题后，7B DeepDiver性能匹敌671B的DeepSeek-R1；3）模型在未训练的开放式长文生成任务（如ProxyQA）中表现优异，生成内容更全面。

与基于Wikipedia环境的同期工作对比，DeepDiver在英文任务中仍具优势，验证了SIS的泛化能力。行为分析表明，该模型在真实网络环境中表现出更复杂的检索策略，如多源验证和反思纠正。局限性包括WebPuzzle需持续更新以适应LLM知识扩展，以及开放式任务奖励设计的挑战。未来方向包括扩展工具生态（如浏览器引擎）、优化RL框架，并探究基座模型规模对SIS的影响。

DeepDiver为LLM在真实场景中的信息获取能力提供了新范式，证明小模型通过强化学习与动态搜索策略可媲美超大规模模型。其技术路径为Agentic RL在搜索增强生成（RAG）领域的应用提供了重要参考。

原文和模型

【原文链接】 阅读原文 [ 4098字 | 17分钟 ]
【原文作者】 机器之心
【摘要模型】 deepseek/deepseek-v3-0324
【摘要评分】 ★★★★★

派欧算力云 – AI 云端一体化解决方案: 模型 API、Serverless、GPU 租赁

派欧算力云提供全面的 AI 云端平台解决方案,包括模型 API、Serverless 和高性能 GPU 实例等,帮助您节省高达 50% 的成本,并同时加速 AI 产品的构建和业务发展,助力企业实现创新突破,赢得市场竞争优势。