Let's Make AGI Real

当某些人（你知道是谁）信誓旦旦地恳求全世界的金主爸爸，一定要给他足够的金钱，以便他有足够的算力帮助人类实现通用人工智能之时，杨乐坤说：别闹了，你那点技术根本实现不了AGI。

当然，严肃的计算机科学家是从不提AGI的，因为它根本不知所云、没有定义、千人千面、纯属骗人！

1. 引言：通用人工智能的探索与Transformer模型的地位

长期以来，创造出能够像人类一样思考、学习和解决问题的机器一直是人工智能领域的核心目标。基于Transformer架构的大型语言模型（LLMs）在自然语言处理、计算机视觉等领域取得了显著的进展，引发了人们对通用人工智能实现的乐观预期。这些模型，如GPT系列、Llama、DeepSeek等，通过大规模的文本数据训练，展现出了令人印象深刻的语言生成、理解、对话和推理能力，甚至在某些特定任务上达到了甚至超过了人类水平。然而，人工智能领域的资深专家，如Meta首席AI科学家杨立昆（Yann LeCun），对仅凭Transformer架构就能实现AGI持有怀疑态度。他认为，类比人类的思维方式，AGI的实现远非易事，Transformer模型在很多关键方面存在固有的局限性。

2. 杨立昆对Transformer模型实现AGI的批判性观点

杨立昆从人类思维的角度出发，强调了当前LLMs在理解、记忆、推理和规划等关键认知能力上有诸多不足甚至缺陷。

• 首先，杨立昆认为LLMs缺乏对现实世界的真正理解和具身性。LLMs主要通过文本数据进行训练，而人类的知识和学习大部分来源于通过感官与真实世界的观察和互动。视觉等感官输入的信息量远超语言文字，一个四岁儿童通过视觉输入所获得的信息量，远大于LLMs通过阅读大量文本所获得的信息量。因此，仅仅依赖语言模型，而缺乏与物理世界的交互和体验，使得LLMs难以真正理解世界的运作方式。这种缺乏现实世界基础的智能，在本质上与人类的智能存在根本的区别。
• 其次，杨立昆指出，Transformer模型缺乏持久记忆、有效的推理能力和复杂的规划能力。当前的LLMs主要是通过预测序列中的下一个词语来生成文本，它们并不具备像人类那样能够长期存储和检索信息、进行逻辑推理以及制定长期计划的能力。在需要理解物理世界、进行复杂推理和规划行动序列的任务中，LLMs的表现往往显得力不从心。例如，人类在执行抓取物体的简单任务时，会进行计划并想象行动序列的结果，这需要心理模型的支持，而当前的LLMs在这方面能力有限。
• 第三，杨立昆认为，仅仅依靠语言进行学习是效率低下的。人类在早期就能通过少量的语言输入，结合大量的感官体验，快速掌握语言和理解世界。而LLMs却需要海量的文本数据才能达到一定的语言能力，这反映了人类学习机制的效率和LLMs学习方式的根本差异。
• 第四，杨立昆暗示，仅仅预测下一个词语不足以实现AGI，AGI需要更高层次的规划和理解。Transformer模型本质上是在进行统计模式匹配，而真正的智能需要超越简单的统计规律，理解深层的含义和逻辑关系。

3. 认知鸿沟：生成式人工智能与人类智能的差距

除了杨立昆的观点，当前的研究也揭示了生成式人工智能（尤其是LLMs）在多个认知层面与人类智能存在显著的差距。

• 在理解和推理方面：尽管LLMs能够生成看似连贯和有逻辑的文本，但它们缺乏对内容的真正理解。它们是基于统计相关性进行预测，而不是基于对知识的深层理解。一个突出的问题是“幻觉”，即AI模型生成虚假信息并将其呈现为事实。这表明LLMs缺乏对现实世界的可靠锚定。此外，LLMs在因果推理方面也存在局限性，它们可以识别模式，但难以深入理解事物之间的因果关系并进行有效迁移。
• 在学习和适应方面：人类的学习具有惊人的数据效率，儿童仅需少量数据就能掌握语言。而LLMs需要庞大的数据集进行训练，这反映了它们学习机制的不同。此外，LLMs在跨领域知识迁移方面也存在不足，难以像人类那样将一个领域学到的知识灵活应用于另一个完全不同的领域。当前的大部分生成式AI模型也缺乏持续学习和适应新环境的能力。
• 在创造力和创新方面，生成式AI虽然可以生成新颖的文本、图像等内容，但这本质上是对训练数据的重新组合和模仿，缺乏人类那种从根本上产生全新想法或概念的创造力。人类的创造力往往受到直觉、情感和突破现有范式的能力驱动，而这些是当前AI模型所不具备的。
• 在常识和具身性方面，LLMs缺乏基于物理世界和日常经验的常识推理能力。具身性，即拥有物理身体并与世界互动，被认为是发展常识的关键。由于LLMs主要处理文本数据，它们难以获得这种与世界的直接互动经验。研究表明，LLMs在理解社会情感和物理常识方面存在不足，针对这些领域进行微调可以提高模型与人脑反应的对齐程度。
• 在情感和意识方面，当前的生成式AI完全缺乏真实的情感和主观体验（意识）。虽然LLMs可以生成模仿情感表达的文本，但这仅仅是基于模式匹配，并没有真正的情感或对情感的理解。情感和意识在人类智能中扮演着重要的角色，影响着动机、决策和社会互动，而这些在当前的AI模型中是缺失的。
• 在记忆和规划方面，人类拥有持久且关联性的记忆，而Transformer模型受到上下文窗口长度的限制。尽管记忆能力在不断提升，但与人类的记忆方式仍然存在显著差异。此外，当前的LLMs主要关注生成下一个词语，缺乏制定长期、目标导向计划的能力。

为了更清晰地展示当前生成式AI与人类智能的差距，我们可以总结如下表：

表 1：当前生成式人工智能（LLMs）与人类智能的比较

4. 当前AGI难以实现的原因：核心能力的缺失

综合杨立昆的观点和当前研究的发现，当前AGI难以实现的主要原因在于以下几个核心能力或机制的缺失：

• 首先，缺乏整合的架构。人类智能是感知、注意、记忆和决策等多种认知功能高度整合的结果。当前的LLMs主要专注于语言处理，缺乏将不同AI组件有效整合的统一架构。杨立昆强调需要开发一种能够整合多种AI组件的认知架构，以实现更全面的智能。
• 其次，学习范式的不足。当前主要依赖的监督学习或无监督学习在静态数据集上进行，这与人类主动与环境互动并从中学习的方式存在差异。自我监督学习和强化学习在动态环境中的应用可能对于发展更接近人类的学习能力至关重要。杨立昆提倡发展自我监督学习，使AI系统能够从无标签数据中学习，并适应新的情境。
• 第三，缺乏基础的认知结构。当前的Transformer架构可能缺乏实现人类水平认知所需的关键构建模块，例如鲁棒的工作记忆、能够处理复杂环境的注意力机制以及进行抽象推理和规划的机制。
• 第四，计算能力的限制。尽管模型规模的扩大带来了显著的性能提升，但Transformer模型中自注意力机制的计算复杂度随序列长度呈平方增长，这在处理非常长的序列时会带来计算瓶颈，可能限制了复杂推理和规划的实现。

5. 可能路径：超越Transformer的未来

为了实现类人智能AGI，仅仅依靠Transformer架构可能是不够的，需要探索新的模型架构和学习方法。

• 杨立昆提出了联合嵌入预测架构（JEPAs）的概念，认为这可能是通往AGI更有希望的路径。与通过重构输入或预测下一个词语的生成式模型不同，JEPAs侧重于学习输入数据的抽象表示，通过预测被破坏或转换后的输入的表示来学习世界的内在结构11。这种方法更侧重于学习现实世界的抽象表示，可能更接近人类通过观察和互动来理解世界的方式。
• 借鉴人脑的结构和功能，开发认知架构也是一个重要的方向。认知架构旨在在软件中模拟人类的认知过程，整合不同的认知功能，如感知、记忆、推理和问题解决。通过研究人脑的工作方式，我们可以获得设计更智能AI系统的灵感。
• 自我监督学习和世界模型的发展也至关重要。自我监督学习允许AI系统从大量的无标签数据中学习，这更符合人类的学习方式。世界模型是指AI系统内部构建的关于世界的认知地图，使其能够进行推理、预测和决策。杨立昆认为，开发能够整合感知、行动和先验知识的世界模型是实现AGI的关键14。世界模型需要能够表示物体和事件之间复杂的关系，进行因果和时间依赖性的推理，并整合符号主义和连接主义AI的优点。
• 实现AGI还需要整合不同的AI组件，使感知、行动、记忆、推理和规划能够无缝协同工作14。人类智能的强大之处在于各种认知能力的协同作用，未来的AGI系统也需要具备这种整合能力。

6. 实现AGI所需的关键要素和突破性进展 

综上所述，实现AGI可能需要的关键要素或突破性进展包括：

• 新型模型架构：超越Transformer，能够更好地处理复杂推理、规划，并整合不同模态信息（视觉、听觉等）的架构，例如JEPAs和更先进的认知架构。
• 先进的学习方法：更加强调自我监督学习、强化学习，以及可能从神经科学中获得启发的新的学习范式。需要具备从更少的数据中高效学习和有效泛化的能力。
• 鲁棒的世界模型：开发能够进行准确预测、模拟和因果推理的复杂内部世界表示。这可能需要整合符号主义和连接主义AI的方法。
• 具身性和互动：创造能够与物理世界互动并通过直接经验学习的AI主体，可以通过机器人或复杂的模拟环境实现。
• 对意识和情感的理解：尽管这是一个巨大的哲学和科学挑战，但理解意识的神经关联以及情感在智能中的作用，可能为AGI的开发提供重要启示。
• 高效的计算框架：尽管不是唯一的瓶颈，但计算能力和能源效率的提升（可能通过脑启发计算17）对于训练和运行复杂的AGI系统至关重要。脑启发计算能够通过模仿人脑的结构和功能，实现更高效的计算。

7. 漫漫长征路：当前技术水平与AGI需求的差距

当前生成式人工智能的技术水平与实现AGI所需的关键要素之间存在巨大的差距。尽管LLMs在特定领域取得了令人瞩目的进展，但它们距离拥有人类水平的通用智能还很遥远。

实现AGI可能需要经历多个中间阶段。一个可能是实现“狭义AGI”，即在广泛的任务中表现出色，但仍然缺乏人类智能的适应性和通用理解能力。也可能先发展出针对特定领域、整合了不同认知功能的更专业的AI系统，然后再逐步走向真正的通用人工智能。

关于AGI的时间表，目前存在各种各样的预测，从乐观的近期预测（最早在2026年1）到更为谨慎的长期观点。杨立昆认为AGI可能还需要几十年的时间。这种巨大的差异反映了实现AGI的复杂性和不确定性。可以肯定的是，实现AGI将是一个渐进的过程，需要大量的增量式进步，并且可能需要革命性的突破。

8. 结论：迈向人类水平智能的持久挑战

总而言之，杨立昆对仅凭Transformer模型实现AGI持怀疑态度，他强调了当前模型在理解现实世界、持久记忆、推理和规划等方面的根本局限性，这些都源于其依赖于预测下一个词语和主要基于文本数据的训练方式。更广泛的研究也表明，当前的生成式人工智能在理解、学习、创造力、常识、情感、意识以及更高级的记忆和规划能力方面与人类智能存在显著的差距。

AGI之所以难以实现，主要是因为我们缺乏能够整合多种认知功能的统一架构，现有的学习范式还不够完善，并且可能缺乏实现人类水平认知所需的基础认知结构。

未来实现AGI可能需要探索超越Transformer的新型模型架构，例如杨立昆提出的JEPAs，以及借鉴人脑的认知架构。自我监督学习、鲁棒的世界模型以及整合不同AI组件将是关键。实现AGI还需要在理解意识和情感、以及提升计算效率方面取得突破。

尽管当前的生成式人工智能在某些方面取得了显著进展，但通往真正通用人工智能的道路仍然漫长而充满挑战。我们需要在人工智能的各个领域持续进行研究和创新，从神经科学和认知科学中汲取灵感，以克服当前方法的根本局限性。实现AGI可能需要我们在AI设计和训练方面有一个彻底的范式转变！

杨乐坤访谈视频：https://www.youtube.com/watch?v=qvNCVYkHKfg

杨乐坤演讲视频：https://www.youtube.com/watch?v=ETZfkkv6V7Y

介绍杨乐坤观点视频：https://www.youtube.com/watch?v=NmCPbqlLjzo