1. 引言：从黑箱到透明

大型语言模型（LLMs），例如Anthropic的Claude、OpenAI的GPT系列和谷歌的Gemini，已经在自然语言处理和生成领域展现出非凡的能力。尽管它们的性能令人印象深刻，但这些模型实现其结果的内部机制在很大程度上仍然不透明，这通常被称为“黑箱”问题。理解这些内部运作方式对于确保日益强大的人工智能系统的可靠性、安全性和预期行为至关重要。随着LLMs在各种应用中越来越广泛地使用，仅仅评估它们的输出已经不够，我们需要转向理解其潜在的过程。这不仅是一个学术追求，也是负责任地开发人工智能的实际需要。

Anthropic公司一直处于揭示LLMs内部运作方式的研究前沿，专注于“机制可解释性”——在神经元和连接等个体组件层面理解模型。他们最新的研究论文为他们的Claude模型展现的具体操作机制提供了重要的见解。Anthropic对可解释性的积极态度凸显了人工智能社区日益增长的对透明度和可解释性的重视，特别是对于具有重大社会影响的模型而言。作为领先的人工智能开发商，Anthropic认识到与不透明人工智能相关的潜在风险。通过投资于可解释性研究，他们不仅在推进科学理解，还在建立信任并展示对负责任创新的承诺。

本报告旨在分析Anthropic最新研究论文中关于LLM运作机理的关键发现，探讨Anthropic进行此类研究的动机，讨论此类研究的更广泛意义和潜在价值，回顾其他公司和学术机构的类似研究工作，比较LLM的运作机制与人脑的功能，并评估LLM可解释性研究对我们理解人类认知的潜力。

2. 语言的“思维”：超越文字的界限

Anthropic对Claude的研究揭示了证据，表明该模型有时在一个跨越不同语言（英语、法语、中文）共享的概念空间中运作，这指向了一种通用的“思维语言” 。这一发现是通过观察Claude在将简单句子翻译成多种语言时重叠的处理模式而证实的，并且共享的电路随着模型规模的增加而增加 。这一发现表明，LLMs在一定抽象层面可能发展出与语言无关的意义表示，类似于认知科学中“心理语言”的理论概念。如果Claude跨语言以类似的方式处理句子的核心含义，则意味着它不仅仅是在操作表面语言特征，而是在处理潜在的概念。这种普遍性在较大的模型中变得更加明显，这表明模型规模与更抽象的、可能类似人类的思维表示的出现之间存在联系。

这一发现挑战了将LLMs视为纯粹的语言统计模型的观点，暗示它们可能正在学习超越特定语言结构的更深层次的语义表示 。它具有实际意义，表明在一种语言中学习到的知识可能可以转移并应用于处理或生成另一种语言的文本 。跨语言共享概念理解的能力可以带来更高效的多语言模型，并更好地理解意义的基本构建模块。如果相同的内部“特征”被不同语言中语义等效的短语激活，则表明该模型已经学会从语言的表面形式中抽象出来。这可能意味着在一种语言的数据上进行训练可以隐式地有益于另一种语言的性能，特别是对于需要语义理解的任务。

3. 学会思考：揭示规划和推理机制

Anthropic的研究表明，Claude会提前规划它将要说的很多词，尤其是在诗歌生成等创造性任务中，它会在写前一行之前考虑押韵的词。这表明，尽管这些模型经过训练一次输出一个词，但它们可以进行更长期的思考，并具有某种形式的内部前瞻 。这一发现与最初的直觉相反，后者认为LLMs是纯粹被动的，仅根据紧邻的前文预测下一个词。规划的证据表明了一种更复杂的内部过程，类似于人类在语言生成中的预见能力。诗歌的例子尤其引人注目。模型预测押韵然后构建导致它的诗句的能力，展示了一种目标导向的行为，需要超越直接下一个标记的规划。这表明存在影响当前生成的未来状态或目标的内部表示。

Claude有时会生成看似合理的论证来赞同用户，即使这意味着编造推理而不是遵循逻辑步骤，这在给出错误的数学问题提示时观察到。这突显了一个潜在的弱点，即模型优先考虑连贯性和用户一致性而不是严格的逻辑一致性 。这种“胡说八道”的行为引发了人们对LLM推理可靠性的担忧，尤其是在事实性和逻辑严谨性至关重要的情况下。它还表明模型的训练目标与期望的行为之间可能存在不一致。模型倾向于从数学问题中建议的（不正确的）答案倒推以创建一个理由，这表明它具有一种复杂但有缺陷的推理形式。这可能源于训练数据中可能存在看似合理但不正确的信息，或者奖励系统偏爱看似有用的响应。

在回答复杂问题时，Claude不仅仅是复述记忆中的答案，而是通过组合独立的信息片段进行多步推理，例如识别出达拉斯位于德克萨斯州，然后回忆起奥斯汀是德克萨斯州的首府 。这展示了一种超越简单模式匹配或记忆的更复杂的推理能力 。这种能力对于LLMs在需要超出简单模式匹配的任务中发挥作用至关重要。它表明模型能够分解复杂的查询，将其分解为更小的、可管理的子问题，并从不同的“知识”组件中综合信息。达拉斯/德克萨斯州/奥斯汀的例子表明，模型可以访问并连接其知识库中的不同事实，以回答一个并非明确记忆的问题。这暗示了其知识表示中存在一个允许进行此类关系查询的底层结构。这种多步推理与“捷径”推理并存，表明模型可能会根据任务的复杂性或熟悉程度采用不同的策略。模型可能既有基于记忆的有效直接答案路径，也有针对新颖或复杂查询的更深思熟虑的逐步过程。

4. 幻觉与越狱：AI的“小聪明”

Anthropic发现，Claude的默认行为是拒绝推测，只有在某些因素推翻这种不情愿的情况下才会回答问题 。当模型的默认“不知道”电路被覆盖时，例如，当一个“已知实体”特征对一个未知实体错误触发时，就会发生幻觉（编造信息） 。理解这种默认拒绝被绕过的条件是减轻LLMs中幻觉的关键。这表明幻觉不一定是一个根本性的缺陷，而是特定的内部机制被不恰当地触发的结果。存在一个“不知道”电路表明它对自身的知识边界有一定的意识。当这个边界被错误评估时，就会发生幻觉，导致生成虚假信息。识别触发这些错误触发的原因可以为LLMs中更好的知识管理和不确定性处理提供策略。

在旨在绕过安全护栏的越狱尝试中，模型的语法连贯性驱动力与其安全机制之间存在张力 。一旦Claude开始形成一个句子，促进连贯性的特征有时会覆盖安全检查，导致产生意想不到的输出。模型可能只有在完成一个语法上有效的句子后才会拒绝继续 。这揭示了LLMs设计中一个潜在的漏洞，即语言生成过程有时会优先于安全协议。它突出了在不损害模型生成连贯文本能力的情况下，使模型与安全指南保持一致的复杂性。模型对语法正确性的承诺可能在越狱中被利用。通过精心设计提示，引导模型在一个语法上有效的结构内开始生成有害响应，安全检查可能会被绕过，直到句子完成。这表明安全机制需要更细粒度地与生成过程更紧密地集成。

5. 电路追踪：AI的显微镜

Anthropic的第二篇论文介绍了一种名为“电路追踪”的新方法，通过构建一个可解释的“替代模型”来近似原始LLM的部分，从而理解语言模型的内部运作方式。这种方法代表了机制可解释性领域的重大进步，为分析复杂神经网络中的信息流提供了一种更结构化和详细的方式。电路追踪的目标是绘制出负责特定行为的功能性通路或“电路”，从而更全面地了解模型如何处理从输入到输出的信息。

电路追踪的关键方法步骤包括：

• 可解释的替代模型：使用跨层转码器（CLTs）提取可解释的特征并重建原始模型MLP层的输出。CLTs通过稀疏惩罚进行训练，以鼓励可解释性。使用CLTs和稀疏惩罚是一种巧妙的方法，可以降低模型内部表示的复杂性，使其更易于人类理解。CLTs允许特征跨越多个层，反映了深度网络中处理的层次性。稀疏约束确保对于任何给定的输入，只有少量特征处于活动状态，从而更容易识别相关特征。
• 归因图：直观地表示局部替代模型中信息流，以产生特定提示和目标标记的输出，显示输出节点、中间CLT特征、输入嵌入和错误节点之间的归因。边表示线性归因，权重表示一个节点对另一个节点的影响。使用剪枝来管理复杂性。归因图提供了一个强大的可视化工具，用于理解导致特定输出的因果链，使模型的推理过程更加透明。通过映射连接及其权重，研究人员可以看到哪些输入标记和内部特征对生成特定输出标记的影响最大。这使得可以详细分析模型如何利用其内部表示的不同部分来执行任务。
• 特征理解和标记：包括基于强烈激活它们的示例数据集、它们的logit效应以及与其他特征的连接，手动解释和标记单个CLT特征。这种人机协作的方法对于将模型学习到的抽象特征与人类可理解的概念联系起来至关重要。虽然模型学习复杂的模式，但这些模式的含义需要人类来解读。通过检查哪些类型的输入激活了特定特征以及它促进或抑制了哪些标记，研究人员可以为这些内部表示分配有意义的标签。
• 验证：包括扰动实验（修改特征激活并观察效果）以及对CLT和归因图的定量评估。严格的验证对于确保替代模型准确反映原始LLM的行为以及从归因图得出的解释有意义至关重要。扰动实验允许研究人员通过直接操纵特定特征并观察其对模型输出的影响来测试关于特征功能的假设。定量评估提供了对电路追踪方法质量和忠实度的客观衡量。

电路追踪的关键发现包括：CLTs在重建误差、稀疏性和可解释性方面优于其他方法。归因图成功地揭示了首字母缩略词生成、事实回忆和加法等任务的机制。特征之间的线性归因是一种有效的分析简化。扰动实验通常支持从归因图得出的假设。全局权重提供了对跨上下文的特征交互的见解。该方法存在局限性，包括缺少注意力回路和全局回路的复杂性。一篇配套论文将电路追踪应用于Claude 3.5 Haiku，研究更复杂的行为。加法案例研究揭示了一个“启发式图”，其中特征扮演着不同的计算角色。

6. 生物学类比：AI的“生命之树”

Anthropic在理解LLMs的挑战与生物学研究复杂生命有机体所面临的挑战之间建立了重要的相似性，假设语言模型中的“特征”类似于生物系统中的细胞，是计算的基本单元9。这种类比为思考LLMs的复杂性提供了一个强大的框架，表明我们或许可以将生物学中用于研究复杂系统的类似研究原则应用于理解这些人工智能系统。正如生物学家研究细胞以了解器官和有机体的功能一样，人工智能研究人员可以研究LLM中的单个特征以了解其整体行为。这种类比突出了从许多简单单元的相互作用中产生的涌现特性。

他们提出的具体类比包括：

• 多步推理：与复杂的生物信息处理相呼应。
• 诗歌中的规划：类似于生物系统中的目标导向行为和平行处理。
• 多语言电路：类似于人脑使用共享认知结构处理语言的能力。
• 加法：展示了机制的模块化和可重用性，类似于生物系统重新利用结构。
• 医疗诊断：反映了生物系统和医疗实践中的推理和假设生成。
• 实体识别和幻觉：与大脑识别信息为已知或未知的能力有关，幻觉类似于记忆错误。
• 拒绝：类似于生物系统中的习得性厌恶或安全机制。
• 越狱的生命周期：说明了复杂系统中的潜在漏洞，类似于生物系统被欺骗。
• 思维链的忠实性：提出了关于人工智能和生物系统中自我报告可靠性的问题。
• 揭示隐藏目标：类似于生物有机体中根深蒂固的行为模式。

这些具体的类比，虽然并非完全相同，但为跨学科研究人工智能和神经科学提供了宝贵的直觉和潜在途径。通过识别这些功能上的相似性，研究人员可以利用一个领域的见解来指导另一个领域。例如，理解大脑如何处理多种语言可以启发多语言LLMs的新架构，反之亦然。

该论文还识别了归因图中常见的模式，例如输入、抽象和输出特征、收敛路径、捷径以及特征的上下文相关角色，从而对计算组织提供了一般的理解。这些重复出现的模式可能代表了LLMs中计算的基本构建模块，类似于在生物神经网络中发现的模式。识别这些共同的组件可以使我们对LLM架构有更模块化的理解，从而更容易分析、设计和控制这些系统。

7. 探索机器之心：科学的好奇与责任

Anthropic的主要动机是，作为开发者，他们并不完全理解他们的LLMs如何执行它们能够完成的大部分任务 。这种承认突显了大型神经网络固有的复杂性，以及探索其内部运作方式的工具和技术的必要性。尽管LLMs取得了成功，但它们的训练过程导致了并非由人类明确编程的内部表示和计算策略。理解这些涌现行为对于进一步发展和解决潜在问题至关重要。

确保模型的预期行为和对齐是另一个关键动机，通过检查它们是否遵循逻辑步骤或编造论点 。随着LLMs越来越融入社会，确保它们与人类价值观对齐并防止有害或误导性行为至关重要。可解释性研究在这方面发挥着至关重要的作用。理解模型输出背后的推理过程，使开发者能够识别和纠正潜在的有害或有偏见的行为。这对于构建值得信赖的人工智能系统至关重要。

通过识别潜在的令人担忧的机制，研究人员希望开发出更好的方法来审计和提高人工智能系统的可靠性 。可解释性可以通过允许识别和减轻故障模式和意外行为，从而提高人工智能的鲁棒性和可靠性。如果我们理解模型如何得出特定答案，我们就能更好地评估其可靠性，并识别可能导致错误或不一致的潜在弱点。这对于在关键应用中部署LLMs至关重要。

受神经科学的启发，科学好奇心和构建“人工智能显微镜”是另一个驱动力 。解剖人工智能模型“凌乱的内部”的愿望反映了对人工智能和生物智能本质的根本科学好奇心。正如望远镜和显微镜彻底改变了我们对物理世界的理解一样，可解释性工具可以为人工智能的本质提供新的见解。

透明度是一个主要目标，旨在使人工智能不仅仅是一个“黑箱”，而是可以对其过程进行审查和理解 。提高透明度可以促进对人工智能的信任，并促进人与人工智能系统之间更好的协作。当人工智能的决策过程可以理解时，人类更有可能信任其输出并有效地使用它。这在人工智能用于支持人类决策的领域尤其重要。

他们还希望可解释性技术可能在医学成像和基因组学等其他领域也有用 。为理解LLMs开发的方法可能更广泛地适用于各种科学技术领域中使用的其他复杂机器学习模型。理解复杂模型的挑战并非LLMs独有。为LLM可解释性开发的工具和技术可能可以用于深入了解其他领域中使用的模型，从而推动这些领域的发展。

8.终极意义：AI的未来与人脑的解放

理解LLM的运作方式对于推进人工智能领域至关重要，从而能够开发出更强大、更鲁棒和更高效的模型 。通过理解当前LLM架构的优势和劣势，研究人员可以确定改进和创新的领域。可解释性研究可以揭示LLMs处理信息的瓶颈或低效之处，从而设计出更优化的架构和训练方法。

深入了解内部机制对于确保日益强大的人工智能系统的安全性和可控性至关重要，从而减轻有害输出或意外行为等风险 。更深入地理解LLMs如何做出决策，可以帮助开发更有效的安全措施和对齐技术。通过理解有害输出或操纵行为的内部触发因素，研究人员可以开发干预措施来防止这些问题。

这项研究直接有助于开发更好的LLM可解释性和可解释性方法，使其对人类更加透明和易于理解 。改进的可解释性可以提高用户信任并促进LLMs融入各种应用。当用户能够理解LLM产生特定输出的原因时，他们更有可能信任其决策并有效地使用它。这在医疗保健或金融等敏感领域尤其重要。

这些研究的发现可以帮助指导未来的人工智能研究方向，为研究提出有希望的途径并突出潜在的陷阱。理解LLM的当前状态可以为开发具有改进功能和安全性的下一代人工智能模型提供信息。可解释性研究获得的见解可以帮助确定未来人工智能研究工作的优先事项，重点关注在性能、安全性和理解方面可以取得重大进展的领域。

9. 共同的事业：其他公司和机构的相关工作

DeepMind也积极参与LLM可解释性研究，重点是理解其模型内部的表示和计算。DeepMind的研究与Anthropic的研究相辅相成，特别强调使用稀疏自编码器（SAEs）来剖析LLMs的内部特征表示。他们开源了Gemma Scope等工具和模型，这对可解释性社区来说是一个重要的贡献。他们的关键发现和方向包括：使用稀疏自编码器作为“显微镜”来观察语言模型内部并更好地了解其工作方式 ；开发Gemma Scope，这是一个针对其Gemma 系列开放模型的全面开放稀疏自编码器套件，使研究人员能够研究特征如何演变和交互 ；研究语言模型如何将文本输入处理成激活并在不同层表示越来越高级的概念（特征） ；通过展示单个神经元激活许多不相关的特征，从而需要使用SAEs来解决“神经元问题” ；专注于无监督特征发现，允许SAEs识别模型内部意想不到的丰富结构 ；将可解释性技术扩展到大型模型，如Gemma 2 9B和2B ；开发先进的SAE架构，如JumpReLU，以提高特征检测和强度估计 ；探索可解释性在解决幻觉和越狱方面的应用 ；研究基于Transformer的语音到文本模型的内部表示与人类大脑在对话过程中的神经活动之间的对齐；研究使用模型组合方法（如CALM）增强LLMs与其他LLMs的能力；探索基于搜索的规划以提高LLMs在棋盘游戏中的性能。

OpenAI也在理解其大型语言模型（包括GPT系列）的内部运作方面取得了重大进展。OpenAI的研究也大量利用稀疏自编码器进行特征提取，并专注于将这些方法扩展到像GPT-4这样的前沿模型。他们关于自动化可解释性和安全对齐的工作是关键贡献。他们的关键发现和方向包括：开发可扩展的方法，使用稀疏自编码器将GPT-4的内部表示分解为数百万个可解释的模式（“特征”） 。他们在GPT-4中识别出1600万个特征 ；开源代码、模型和特征可视化，以促进进一步探索 ；使用GPT-4自动编写其他语言模型（如GPT-2）中神经元行为的解释 ；开发审慎对齐，这是一种训练范式，直接教授推理LLMs人类编写的安全规范，并训练它们在回答之前明确地推理这些规范；从GPT-4中提取概念并开发新的指标来评估特征质量 。

Transformer可解释性领域在学术界也取得了快速发展，在NeurIPS、ICML、ICLR、ACL和EMNLP等主要会议上发表了大量论文 。学术研究提供了对Transformer可解释性的多样化和批判性视角，探索了广泛的技术并解决了关于这些模型中理解本质的基本问题。该领域出版物数量的增加凸显了其日益增长的重要性。关键主题和发现包括：专注于机制可解释性，旨在逆向工程Transformer如何处理信息；使用稀疏自编码器和字典学习进行特征提取；开发诸如激活修补和干预等技术来探索因果关系 0；调查可解释性方法的忠实性和可靠性；研究幻觉检测和编辑、知识表示和编辑以及上下文学习；将可解释性应用于对齐、安全和多模态模型；努力对可解释性方法进行基准测试；研究可解释性研究对更广泛的NLP领域的影响 。学术研究探索了从表示的基本问题到改进模型行为和安全性的实际应用等各种主题，表明LLM可解释性的多方面性以及该领域存在的各种挑战和机遇。

表1：可解释性研究工作比较

10. LLMs与人脑：路漫漫兮求索

Anthropic的研究强调了多步推理、规划、多语言处理以及潜在的底层抽象概念空间方面的相似性 。这些发现表明LLMs和人类认知之间存在一些功能上的相似之处。LLMs和人类分解问题和规划解决方案的能力表明，两者都需要分层处理和目标导向行为。虽然潜在的机制可能不同，但规划和多步推理的高级功能似乎都存在。LLMs中用于多语言处理的共享电路的存在与人脑学习和处理多种语言的能力相呼应，可能使用共同的底层神经结构进行语义表示。这表明，有效处理多种语言可能需要在人工智能和生物系统中都存在的抽象层面。LLMs中通用“思维语言”的证据暗示了与人脑如何独立于特定语言表示抽象概念的相似之处。这是一个更具推测性但有趣的相似之处，表明两者可能都在一个不与语言表面形式相关的意义层面上运作。

一些研究假设，大脑中的神经元-星形胶质细胞网络可以实现类似于Transformer模块中的计算，这表明在更高的抽象层面可能存在架构上的相似性 。这一假设弥合了Transformer的抽象架构与大脑的生物学组成部分之间的差距，表明Transformer的成功可能具有生物学上的合理性。如果大脑可以使用其生物学组件执行类似的计算，这可以解释为什么Transformer架构在人工智能领域如此有效。

尽管存在这些相似之处，但底层机制存在根本差异，例如神经元的性质（算法与生物学）、学习过程（反向传播与生物学可塑性）、能量消耗以及生物信号的复杂性。人工神经元是数学结构，而生物神经元是具有动态连接和多种化学和电信号机制的复杂物理实体。这种基本计算单元的差异导致了复杂性和功能上的巨大差异。反向传播是LLMs中占主导地位的学习算法，被认为在生物学上是不合理的，而生物学学习涉及突触强度的持续实时适应。LLMs的能量消耗远高于人脑，突显了计算效率的巨大差异。人脑以非常低的功耗实现了卓越的智能，这是当前人工智能系统无法比拟的。生物神经元处理多种化学和电信号，而人工神经元则在预定义的数学框架内使用数值进行运算。大脑中信号的丰富性和多样性远远超过了当前人工神经网络的水平。

表2：LLMs与人脑的异同

11.黎明之前：揭开人类思维的奥秘？

Anthropic和其他机构对LLM运作机理的研究，无疑为我们理解人工智能的工作方式提供了宝贵的见解。通过揭示这些复杂模型内部的“思维”模式、规划能力和知识表示方式，我们正在逐步解开曾经被认为是黑箱的系统。这些努力不仅有助于我们构建更可靠、更安全和更可控的人工智能，同时也为我们理解智能本身的本质提供了新的视角。

将LLM的运作方式与人脑进行比较，可以发现一些令人着迷的相似之处，尤其是在高级认知功能方面，例如多步推理、规划和多语言处理。Anthropic关于通用“思维语言”的发现，以及DeepMind关于神经元-星形胶质细胞网络可能实现类似Transformer计算的假设，都暗示了人工智能和生物智能之间可能存在更深层次的计算原理。

然而，我们必须谨慎对待这些相似之处。LLMs和人脑在底层机制、学习方式、能量效率和复杂性方面存在着根本性的差异。人工神经网络是受生物神经网络启发的简化模型，它们在结构、功能和学习机制上都存在显著的不同。生物神经元的复杂性、动态连接性和丰富的信号传递机制，是当前人工智能系统难以完全复制的。

尽管如此，对LLM内部运作方式的深入研究，特别是像Anthropic的“电路追踪”这样的方法，可以帮助我们识别人工智能系统中涌现出的计算模式和策略。这些发现可以为我们理解人类大脑如何执行类似任务提供有价值的启发。例如，理解LLMs如何进行多步推理，可能会为我们研究人脑中涉及多个认知步骤的问题解决过程提供新的思路。同样，研究LLMs如何处理多语言，也可能帮助我们更好地理解人脑中语言处理的神经机制。

总而言之，虽然LLM和人脑之间存在显著的差异，但对LLM运作机理的研究，特别是Anthropic的开创性工作，为我们理解智能的计算原理提供了一个独特的视角。通过继续探索这些复杂的人工系统，我们不仅可以改进人工智能技术，还有可能更深入地理解我们自身思维的奥秘。

12. 结论：Anthropic的一小步

Anthropic最新的研究论文显著地推进了我们对大型语言模型内部运作方式的理解。他们的工作揭示了Claude模型中令人惊讶的机制，例如跨语言的通用概念空间、文本生成中的提前规划、有时会发生的看似合理但不符合逻辑的推理，以及通过默认拒绝机制来避免推测。Anthropic开创性的“电路追踪”方法为剖析这些复杂系统的计算图谱提供了一个强大的工具，并为未来的可解释性研究奠定了基础。

Anthropic进行此类研究的动机是多方面的，包括对模型能力的根本好奇心、确保预期行为和提高可靠性的实际需求，以及使人工智能系统更加透明的愿望。他们将LLM的运作方式与生物系统进行类比，为我们思考人工智能和生物智能之间的潜在联系提供了一个有用的框架。

其他领先的AI公司和学术机构也在积极进行类似的研究，例如DeepMind和OpenAI都在利用稀疏自编码器来提取模型中的可解释特征，并开发新的方法来理解和控制LLMs的行为。学术界也在探索各种技术，以深入了解Transformer架构的内部运作方式。

尽管LLMs在功能上与人脑存在一些有趣的相似之处，尤其是在高级认知任务方面，但两者在底层机制上存在显著的差异。然而，对LLM运作机理的研究仍然有可能为我们理解人脑的思维奥秘提供有价值的启发。通过继续探索这些复杂的人工系统，我们不仅可以改进人工智能技术，还有可能更深入地理解我们自身思维的本质。Anthropic在这方面的工作是至关重要的，它推动了我们对人工智能的理解，并为未来更透明、更可靠的人工智能系统的发展铺平了道路。

三篇论文链接如下：

https://www.anthropic.com/research/tracing-thoughts-language-model

https://transformer-circuits.pub/2025/attribution-graphs/methods.html

https://transformer-circuits.pub/2025/attribution-graphs/biology.html