Let's Make AGI Real

第三章：AI驱动的信息检索：当前格局与前沿范式（续）

深度搜索：AI增强的复杂查询探索

深度搜索是一种AI增强的信息搜索方法，它在传统网络搜索的基础上，利用先进的AI（如大型语言模型）更好地理解用户查询和意图。与基本的关键词搜索不同，深度搜索试图把握用户的真实意图，将复杂或特定的问题重新表述为几个相关查询，并更深入地搜索网络，包括小众网站和学术论文。深度搜索代表了传统语义搜索之外的重大演进。它不仅仅是理解词语的含义，更是推断复杂查询背后真正的潜在意图，并主动探索信息领域以满足该意图，即使这需要多步骤推理或深入到不常见的来源。这使得信息检索从被动的“找到我所说的”转向了主动的“找到我所想和所需的”。

微软Bing的深度搜索（2023年推出）通过GPT-4增强了其现有的网络索引和排名系统。GPT-4能够将初始查询扩展为理想结果的全面描述，并针对模糊查询识别所有可能的意图。Bing随后“深入十倍”地搜索网络，以找到可能不会出现在典型搜索结果中的相关内容，通过查询重写和变体实现。结果根据与全面描述的匹配程度进行排名，考虑主题匹配、细节水平、来源可信度、时效性和受欢迎程度。

Google Gemini的深度研究（一种智能体）能够自主浏览数百个网站，思考其发现，并在几分钟内创建有见地的多页报告。它将用户提示转换为个性化的多点研究计划。深度搜索的应用包括竞争分析、尽职调查、深入主题理解和产品比较。用户可以上传自己的文件以指导研究，并将报告转换为交互式内容。

深度搜索的技术实现

深度搜索的核心在于其超越传统关键词匹配的能力，通过先进的AI技术实现对用户意图和语境的深度理解。

• 语义理解与神经网络架构： 深度搜索利用自然语言处理（NLP）和先进的神经网络架构来解释搜索查询，其复杂程度可媲美人类理解。这包括上下文向量映射、语义关系识别以及超越字面词语匹配的意图识别。
• 大型语言模型（LLM）集成： 微软Bing的深度搜索功能通过集成GPT-4来增强其现有的网络索引和排名系统。
• 深度结果发现： Bing的深度搜索在理解用户意图后，会“深入十倍”地搜索网络，以找到在典型搜索结果中可能不会出现的相关
• 智能结果排序： 深度搜索根据结果与全面描述的匹配程度对其进行排名，考虑多种信号，例如主题匹配度、细节水平、来源可信度、时效性和受欢迎程度。
• 自适应学习： 深度搜索模型在海量数据集上进行训练，使其能够识别复杂的模式、理解上下文关系，并生成高度相关的搜索结果，并通过自适应学习持续提高搜索准确性。
• 多源交叉引用与洞察提取： 深度搜索能够交叉引用多个信息源，识别看似不相关数据点之间的联系，从而提供全面而细致的搜索结果，并过滤掉不相关或低质量的信息