引言：当AI学会“上网冲浪”，谁能精准捕获“深网”信息？

AI搜索越来越超出过去网络搜索引擎的范畴，不仅交互方式不同，而且一举挖掘到了过去不敢触碰的“深网Deep Web”的领地。各家的AI代理不再满足于回答书本上的简单问题，它们开始探索浩瀚的互联网，试图解决更加复杂和动态的现实世界难题。这让人一方面有点小兴奋：难道“知识发现”这一千古难题就这么解决了？另一方面又为版权捏一把汗，Information want to be free！版权爷爷应该正在蓄势待发准备疯狂反扑😄。

不说废话，静观其变。当下代表AI先进生产力，冲在数据盗版最前沿的开放AI公司，推出了一套最新的基准测试方法：OpenAI 于近期开源了其最新的基准测试——BrowseComp，专门解决“如何有效评估这些 AI 代理在网络中的信息搜寻和处理能力”这一问题，填补了一项空白，为衡量 AI 代理的“网络探险”能力提供一个全新的、高难度的标尺。

BrowseComp的目标：不仅仅是“搜索”，更是“深度挖掘”与“信息整合”

BrowseComp 的核心目标是评估 AI 代理在互联网环境中定位难以查找、相互关联信息的真实能力。与以往侧重于检索孤立事实的基准测试（如 SimpleQA）不同，BrowseComp专注于考察 AI 代理是否能够高效地搜寻并整合散落在多个网页甚至数十上百个网站的复杂信息，从而解决需要多步骤推理和跨站点查找信息的难题. 它的目标在于推动能够精准、持续、并具备推理能力的浏览型 AI 模型的研发.

BrowseComp的功能：一套精心设计的“高难度试卷”

BrowseComp 本身是一个包含 1266 道高难度问题的基准测试集，覆盖了电影、科学与技术、艺术、历史、体育、音乐、电子游戏等广泛领域. 这些问题并非简单地查询某个已知事实，而是要求 AI 代理在庞大的互联网空间中进行复杂的搜索，并将潜在答案与问题中提出的多重约束条件相匹配.

例如，BrowseComp 中的问题可能要求智能体找出特定时期内两支足球队在一场特定裁判执法的比赛中黄牌和换人情况，或者识别一个具有特定背景故事和打破第四面墙特点的电视剧角色，亦或是寻找一篇满足特定主题和作者身份约束的研究论文.这些问题模拟了真实世界中需要深度调研和信息整合的场景.

为何BrowseComp如此重要：填补现有评估体系的空白

在 AI 代理的网络浏览能力日益增强的背景下，传统的基准测试已经难以有效区分不同模型的优劣. 像具备浏览功能的 GPT-4o 在简单的检索任务中可能表现接近天花板.BrowseComp 的出现填补了这一空白，它提供了一个更具挑战性的平台，能够更真实地反映 AI 代理在复杂信息环境下的表现. 通过 BrowseComp，研究人员可以更清晰地了解当前 AI 代理在信息定位的准确性、多源信息整合的能力、以及面对复杂约束时的推理和持久性. 这对于指导未来浏览型 AI 模型的研发方向至关重要.

BrowseComp的严苛测试方法：层层把关，确保“难题”本色

BrowseComp 的测试问题设计极其严苛，旨在确保其难度. 每个问题都经过了多重验证，以确保现有模型难以解决，并且需要深入的网络搜索才能找到答案. 问题创建过程遵循 SimpleQA 的指导原则，并设置了三个关键的检查点:

• 验证现有模型无法解决：首先，要确认包括 OpenAI 的 GPT-4o、OpenAI o1 和早期版本的 Deep Research 在内的现有模型都无法有效解决这些问题.
• 谷歌搜索前一页无答案：其次，通过五次简单的谷歌搜索验证，确保答案不会直接出现在搜索结果的第一页.
• 另一数据师十分钟内无法解决：最后，问题需要足够困难，以至于另一位专业数据师在十分钟内无法找到答案. 如果某个问题被解决的频率超过 40%，则需要进行修改.

为了进一步确保难度，数据师通常会从一个已知事实出发，反向构建一个答案难以找到但容易验证的问题. 这种设计方法虽然能保证参考答案的正确性，但也存在无法完全排除其他有效答案的潜在缺点，因此数据师需要对问题内容有足够的了解并增加额外的标准来降低这种可能性.

BrowseComp的测试数据来源：人类专业数据师的精心创作

BrowseComp 的测试数据集完全由人类专业数据师收集. 这些数据师在创建问题时需要对相关领域具备专业知识，以确保问题的准确性和难度. 为了评估数据集的难度，OpenAI 还邀请了同一批数据师尝试解答这些问题（不使用 AI 助手且无法访问答案）. 结果显示，人类数据师仅解决了 29.2% 的问题，且答案与原始参考答案一致的比例为 86.4%. 这充分证明了 BrowseComp 基准测试的高难度.

各类模型的测试评分比较：谁是“网络探险”的佼佼者？

OpenAI 对其多个模型在 BrowseComp 上进行了评估，结果揭示了不同模型在网络浏览和信息处理能力上的显著差异:

• 不具备浏览功能的模型（GPT-4o、GPT-4.5）：这两个模型在 BrowseComp 上的准确率几乎为零（分别为 0.6% 和 0.9%）。这表明，在需要互联网信息检索和复杂推理的任务面前，单纯依靠模型自身的内部知识是远远不够的.
• 具备浏览功能的 GPT-4o：启用浏览功能后，GPT-4o 的准确率从 0.6% 提升至 1.9%。尽管有所提升，但整体表现仍然较低，这说明仅仅拥有浏览能力并不足以解决 BrowseComp 的复杂问题，模型还需要具备更强的策略性推理和信息理解能力.
• 不具备浏览功能的 OpenAI o1：尽管没有浏览功能，但 o1 在推理能力上优于 GPT-4o，其准确率达到了 9.9%。这表明，一部分 BrowseComp 的问题可以通过模型自身的强大推理能力来解决，而无需依赖外部信息.
• 经过专门训练的浏览代理模型 Deep Research：该模型在所有被测模型中表现最为出色，准确率高达 51.5%。Deep Research 具备持续搜索、多源信息整合以及自适应搜索策略等特性，能够更有效地处理需要跨多个网站、多步骤检索的复杂问题. 此外，研究还发现Deep Research 的性能随着计算资源的增加而提升.

总结与展望：BrowseComp，AI智能体迈向“深网”的关键一步

BrowseComp 的发布和其测试结果清晰地表明，浏览能力和推理能力对于 AI 代理在复杂网络环境中的表现同等重要. 仅仅具备浏览工具而缺乏强大的推理能力，或者仅仅拥有内部知识而无法有效获取外部信息，都难以在 BrowseComp 这样的高难度基准上取得优异成绩.Deep Research 的成功在于其将自主浏览与复杂的推理能力相结合，为未来浏览型 AI 代理的发展指明了方向.

BrowseComp 的开源 为全球 AI 研究社区提供了一个宝贵的工具，有助于推动更智能、更可靠的浏览代理的研发. 相信在 BrowseComp 的驱动下，未来的 AI 代理将能够更好地探索和利用互联网的丰富信息，解决更加复杂和重要的现实世界问题。