在人工智能的浪潮中，如何准确衡量AI模型的真实能力，一直是备受关注的核心问题。长期以来，“基准测试”就像一把把标尺，帮助我们量化理解AI的智能水平，追踪技术进步的足迹，并指引未来的发展方向。然而，随着以大型语言模型（LLMs）为代表的AI技术突飞猛进，我们逐渐发现，曾经可靠的传统标尺，似乎已经难以适应日新月异的AI大考场了。
传统基准测试遭遇“天花板”？
传统的基准测试在AI发展的早期功不可没，但其固有的局限性也日益凸显：
- “刷分”现象与基准饱和：许多顶尖的LLM在一些常见的基准测试中，例如多任务语言理解（MMLU），能够轻松获得超过90%的高分。这表明现有的测试可能已经无法有效区分顶级模型之间的细微差别，就像运动员在熟悉的跑道上不断刷新纪录，却难以衡量其在更复杂、更未知的环境下的真实潜力。这种基准饱和的现象暗示着，传统测试可能已经触及了衡量模型能力的“天花板”。
- 数据泄露的隐忧：大型模型的训练数据来源极其广泛，这使得模型在训练过程中接触到测试题目或相似内容的风险大大增加。一旦发生数据泄露，模型在测试中的高分可能并非真正智能的体现，而仅仅是对训练数据的“记忆”，导致评估结果的可靠性大打折扣。
- 片面追求正确答案：传统的基准测试往往侧重于评估模型给出正确答案的能力，而忽略了其在面对真实世界中复杂甚至无解问题时的表现。一个真正智能的系统，不仅应该能够回答已知的问题，更应该具备承认自身知识局限性的能力。
- 忽视用户体验与实用性：此外，传统的基准测试往往难以衡量模型在实际应用中与用户的交互体验，例如对话的流畅性、信息的有用性以及表达的礼貌程度等主观因素。用户的真实感受和模型的实用价值，在传统的评估体系中往往被忽视。
面对传统基准测试的种种局限，研究人员开始积极探索和发展全新的评估框架与方法，力求更全面、更深入地理解和衡量AI的真实能力。“人类最后的测试 (Humanity's Last Exam, HLE)” 正是在这样的背景下应运而生，旨在挑战AI知识的极限。
人类最后的测试 (HLE)：人类专家出题，AI如何招架？
“人类最后的测试” 由 Scale AI 和 AI 安全中心 (CAIS) 于2025年初联合发布，其目标直指“测试AI在人类专业知识前沿的知识极限”。HLE的设计理念是通过汇集人类专家认为极其困难且具有明确客观答案的原创性问题，构建一个能够真正检验AI知识深度和推理能力的顶级基准。
HLE的题目来源经过了极其严格的筛选：
- 研究团队广泛联系了全球各个学术领域的顶尖专家，包括知名大学教授、获奖科学家和资深研究人员。
- 这些专家被要求贡献其专业领域内原创性的难题，这些问题必须“能够难住当前最强的AI模型，无法通过互联网搜索直接找到答案，且拥有确定无疑的答案”。
为了激励专家贡献高质量的题目，研究团队还设立了奖金池。
- 每道候选题目首先会交给当前最先进的AI模型进行测试，如果AI能够正确回答或在选择题中的表现优于随机猜测，该题目将被淘汰。
- 通过AI初步筛选的题目，还需要经过研究人员和领域专家的多轮严格审核，以确保题目的难度和质量符合最高标准。
最终，只有那些经过层层筛选，被公认为极具难度且真正触及人类知识前沿的题目，才会被纳入HLE的题库。
“人类最后的测试” 最终包含了3000道文本和多模态问题，涵盖了数学、科学、人文等超过100个学科。研究人员使用这些问题测试了当前顶级的AI模型，例如 OpenAI 的 o1 和 GPT-4o，Anthropic 的 Claude 3.5 Sonnet，以及 Google 的 Gemini 1.5 Pro。
令人惊讶的是，当前AI模型在HLE上的整体正确率仍然非常低，低于10%。即使是表现最好的模型，如Gemini2.5 Pro，其正确率也仅为 18.8%，而 OpenAI 的 o1 模型最初的正确率仅为 8.3%。这些结果清晰地表明，尽管顶尖AI模型在某些传统基准测试中表现出色，但在面对人类专家提出的高难度、前沿性问题时，仍然存在巨大的差距。HLE的出现，为我们评估AI的知识深度和复杂推理能力提供了一个全新的、更具挑战性的视角。
多元评估视角：探索AI能力的更多维度
除了HLE之外，还有一些新兴的评估框架正试图从不同的维度衡量AI的能力：
- “不可能的测试 (The Impossible Test)” 另辟蹊径，专注于评估LLM在面对根本无法解决的问题时的反应。研究发现，即使是强大的GPT-4模型，在面对看似可解实则无解的问题时，也更倾向于给出推测性答案，而不是坦诚地承认“不知道”。这突显了提升AI模型认知谦逊的重要性，使其能够更准确地判断自身能力的边界。
- “人类聊天竞技场 (Chatbot Arena)” 则采用了一种以用户为中心的评估方法。该平台通过让用户与匿名模型进行交互，并根据对话质量进行偏好投票，来评估模型在实际对话中的表现。这种主观评估能够有效弥补传统基准测试在衡量用户体验方面的不足，让我们更了解用户在使用AI时的真实感受和偏好。
结语：迎接更全面的AI能力评估时代
面对日益强大的AI模型，仅仅依靠传统的基准测试已经难以满足我们对其能力进行全面评估的需求。以“人类最后的测试”为代表的新型基准，以及“不可能的测试”和“人类聊天竞技场”等多元化的评估方法，正引领我们走向一个更全面、更 微妙的AI能力评估时代。未来，我们将需要更多维度、更具创新性的评估体系，才能更准确地理解AI的真实智能水平，并更好地指导其未来的发展，最终使其更好地服务于人类社会。
Let's Make AGI Real 
留下评论