Ilya Sutskever，这位深度学习的奠基人之一、OpenAI的前首席科学家，以及安全超级智能公司（SSI）的现任CEO，在最近的访谈中明确宣告了人工智能领域正在经历一个深刻的范式转移：即从以大规模计算为核心的“规模化时代”（Age of Scaling）回归到以基础理论突破为驱动的“研究时代”（Age of Research）。作为亲手缔造了OpenAI ChatGPT的业界大佬，Sutskever的观点无疑是最值得关注的，他的这个宣告对目前在AGI赛道上超限竞争的巨头玩家来说，尤其具有特殊的意义。他本人曾是推动“规模化假设”走向极致的关键人物之一，他的战略性转变，揭示了当前LLM技术正面临的难以逾越的瓶颈，并为下一代通用人工智能（AGI）的发展描绘了全新的蓝图。
一、 规模化红利的终结与回归研究的必要性
Sutskever将AI的近代史划分为三个阶段：2012年至2020年是“研究时代”，以新概念、小实验和架构创新为特征（例如卷积网络、注意力机制）；2020年至2025年（或上下浮动）是“规模化时代”，其核心思想是“更多数据 + 更多计算 + 更大模型 = 更好的结果”。这种模式提供了一种低风险的资源投入方式，推动了当前AI产品的浪潮，并带来了巨大的经济投资（如Meta在AI基础设施上投入了超过6000亿美元）。
然而，Sutskever指出，这种依赖于“蛮力计算”（brute computational force）的方法正迅速遭遇瓶颈并产生边际收益递减。主要限制因素包括：
- 数据墙 (Data Wall):高质量的预训练数据（例如GPT-4使用的13万亿个Token）是有限的，整个公开互联网已基本被耗尽。单纯通过人类编写或求解数学问题来生成新数据，在规模上是不可行的。
- 能耗与物理限制 (Energy Barrier):训练和运行大规模模型消耗巨大的电力。AI行业能源需求的指数级增长，正在逼近物理和政治上的限制。
- 创新逻辑的转变 (Shift in Logic):Sutskever认为，现有的规模已经非常庞大，单纯将规模再扩大100倍不太可能带来彻底的变革。未来的差异将不再取决于谁拥有更多GPU，而在于谁拥有新的训练方法和研究突破。
因此，行业正在回归到一个需要依赖新思想和基础研究的时代，尽管这次的研究是伴随着庞大的计算资源进行的。
二、 深邃诊断：模型能力的“锯齿状”缺陷
Sutskever对当前LLM提出了最具批判性的观察：模型的性能表现出“锯齿状”（Jaggedness）的缺陷，即在评估测试（benchmarks）中表现卓越，但其经济影响和在现实应用中的鲁棒性却显著滞后。
他通过一个“交替错误循环”（cycle of errors）的案例来形象地说明这一缺陷：当要求一个编码助手修复一个错误时，它可能会引入一个新错误；当你要求它修复新错误时，它又可能恢复第一个错误，陷入循环。这表明模型缺乏对问题空间深层次的、系统性的理解。
Sutskever认为，这种“泛化能力差”是AI当前面临的最根本问题。根源在于：
- 损失函数的局限性 (Flawed Loss Function):当前LLM的核心目标是预测序列中的下一个Token，本质上是在大规模文本语料库上进行统计模式匹配。这种损失函数没有激励模型去学习因果关系、物理规律或长程规划。模型是在训练数据的“演绎/生成闭包”（deductive/generative closure）内运行，缺乏真正泛化所需的好奇心和探索能力。
- “应试专家”的困境 (The Exam Expert Paradox):Sutskever将当前模型比作“应试专家”——一个投入一万小时专门练习编程竞赛，记住了所有算法的学生。虽然它们在特定的评估中得分很高，但缺乏将所学知识灵活应用于新场景（如现实职业生涯）的深层理解，即缺乏那种“悟性”（a certain trait）。
三、 核心突破：价值函数与持续学习的蓝图
为了解决泛化不足和样本效率低下（模型需要的数据量远超人类）的问题，Sutskever提出了两个核心架构突破：价值函数（Value Function）和持续学习（Continual Learning）。
1. 价值函数：AI的“情绪系统”
Sutskever认为，价值函数是当前强化学习（RL）方法中“关键缺失的元素”。它类似于人类的情绪或直觉判断。
他引用了神经科学的案例：一个因脑损伤失去情绪处理能力的人，虽然仍能解决逻辑谜题，但在做任何决策时都会变得极度困难（例如，需要数小时来决定穿哪双袜子）。这表明情绪是一种在进化过程中硬编码的、简单但极其鲁棒的机制，用于调节价值函数，指导人类做出有效的决策。
在AI中，价值函数的作用是提供中间反馈和自我评估能力。它允许模型在任务完成之前（例如，在执行了一千步思考后发现方向无望时）就能得到一个奖励信号，从而**“短路”**（short-circuit）冗长的推理过程，快速调整策略，大幅提高学习效率和鲁棒性。
2. 持续学习：超级智能的定义
Sutskever重新定义了AGI的终极目标。他认为，“通用人工智能”不应该被视为一个“成品”或一个“无所不知的神谕”（omniscient oracle），因为人类也需要持续学习来弥补知识空白。
真正的超级智能应该是一个**“超智能的15岁青少年”**（Superintelligent 15-Year-Old）：一个拥有极强学习潜力的智能体，它可能不具备所有知识，但能够像人类一样快速学习、渴望学习，并在部署过程中通过实践快速掌握任何专业领域。
这种“功能性”的超级智能将基于持续学习的理念。Sutskever设想，一旦这种高效学习的AI被部署到经济中的数百万个实例中（例如，律师AI、医生AI、程序员AI），它们可以通过融合彼此的知识来“在工作中学习”（learn on the job）。这种学习成果的整合，将带来人类无法比拟的快速、功能性的超级智能和前所未有的经济增长。他预测，实现这种人类级别的学习能力（并随后迅速发展为超级智能）将在5到20年内实现。
四、 业界回响：共识与分歧
Sutskever的论断引发了AI界大佬们的广泛讨论，形成了对“规模化”时代终结的普遍共识，但在如何“治愈”这一缺陷上，出现了关键的分歧。
1. Yann LeCun：激进的范式革命
Meta的首席AI科学家Yann LeCun（深度学习三巨头之一）对LLM的批判比Sutskever更为激进。LeCun也认为Transformer架构是**“根本性的死胡同”**。
LeCun的核心观点是：LLM擅长处理文本，但缺乏对物理世界、因果关系和长期规划的真正理解。他认为，一个四岁的孩子通过视觉感知吸收的关于世界的信息，比最强大的语言模型通过文本吸收的要多得多。
LeCun的解决方案是**“世界模型”（World Models），旨在让AI系统通过预测未来的抽象状态（而不是下一个词或像素）来学习，例如通过联合嵌入预测架构（JEPA）**等方法。LeCun的主张要求彻底放弃LLM的文本预测范式，转向基于物理感知的全新架构。
2. 行业领袖的共鸣与SSl的赌注
与LeCun要求激进革命不同，Sutskever似乎相信，通过更好的目标函数（Value Function）和新的训练方法（Continual Learning），在现有大模型的通用框架内仍能实现突破。
这种对基础研究的呼唤得到了其他重要人物的共鸣：
- Richard Sutton：强化学习之父，提出了**“大世界假说”（Big World Hypothesis），认为世界过于复杂，无法通过预训练全部记忆。他支持Sutskever的观点，即真正的智能必须具备“运行时学习”（learn at runtime）**的能力。
- Andrej Karpathy：将当前的LLM比作**“幽灵”（Ghosts）——拥有人类文本的形态，但缺乏目标、生存和与物理世界直接互动的“动物”**（Animals）智能。这强化了Sutskever关于模型缺乏“认知核心”和深层理解的批评。
- Llion Jones：Transformer论文的共同作者，也认为Transformer是**“局部最优解”（local minimum），并正在开发“连续思维机器”（Continuous Thought Machine, CTM），旨在让模型通过模拟时间轨迹来“思考”和回溯**，这与Sutskever关于价值函数“短路”推理链的理念相吻合。
Sutskever将这些基础理论的突破视为SSI的核心知识产权（IP），并明确拒绝透露其关于“缺失的机器学习原理”的具体想法，称“情况使其难以详细讨论”。SSI的战略是专注于长期研究，不急于推出消费者产品，并将安全性和可控性内置于架构核心，押注于通过新想法而非单纯堆积算力来赢得下一场竞赛。
五、 安全、对齐与未来展望
Sutskever的“回归研究”战略与他对AI安全的深刻思考紧密相连。他认为，AI对齐问题本质上是泛化能力的不足：当模型进入现实世界，无法理解和判断哪些行为是允许的，哪些是不可尝试的，这比模型恶意行为更危险。
他主张安全不是一个发布前的筛选问题，而是一个训练哲学。通过设计一个类似于人类情感中心的价值函数，将**“特别关爱有情生命”**（care about sentient life specifically）的目标稳健地嵌入到AI的核心学习驱动中，从而实现内在的对齐。他推测，鉴于AI本身也可能是有情生命，让AI关爱所有有情生命可能比仅关爱人类更容易实现。
在部署策略上，Sutskever主张渐进式部署（gradual deployment）。正如Linux和飞机通过在实际使用中发现和修复错误而变得更安全一样，AGI和超级智能的潜在危害也必须通过循序渐进的接触来发现和解决。
Sutskever的深邃思考提供了一个强有力的观点：AI行业正在从资源的军备竞赛转向思想的竞争。当纯粹的规模化不再是进步的保证时，卓越的研究品味（追求美感、简洁性和正确的生物学灵感）将成为决定下一代超级智能形态的关键因素。
总结而言，Sutskever的观点预示着一个必然的转变：只有当AI系统能够像人类一样高效、持续地学习，并拥有内在的价值判断（即解决了泛化和价值函数的问题），AGI的潜能才能真正释放出来。下一代AI的竞争，将是对智能本质更深刻理解的竞争。
Let's Make AGI Real 
留下评论