人工智能进入科研领域之后，最容易被高估的是“智能”，最容易被低估的却是“流程”。真正限制AI参与研究的，往往不是它能否提出一个听起来新颖的想法，也不是它能否写出一篇结构完整的论文，而是它能否让假设经受实验，让失败留下记录，让批评转化为新的证据。
ScientistTwo的意义正在这里。它并没有宣称AI已经获得了普遍的科学判断力，却展示了一种相当完整的自主科研形态：人类给出研究问题、基线代码、数据、Benchmark和评价规则，系统自行提出假设、修改程序、运行实验、开展消融、撰写论文，并在模拟审稿人提出质疑之后重新回到实验环节补充证据。
科研自动化真正困难的部分，从来不是生成一篇论文，而是让论文中的每个结论都能沿着证据链回到实验。
ScientistTwo究竟完成了什么
ScientistTwo由Google Cloud AI Research团队主导，并与滑铁卢大学研究者合作完成。论文报告，系统处理了107个源自NeurIPS 2025、ICLR 2026和ICML 2026已接收论文的研究问题，其中86项取得了高于原论文基线的指标，任务成功率为80.4%，成功任务的平均相对提升为25.2%。
这些数字之所以引人注目，是因为系统并非只调用一次模型、生成一次答案。它首先从原论文及代码中提取限制，提出多个候选想法，检查新颖性，再在较小的数据子集上筛选。表现稳定的方案才会进入完整Benchmark。随后，分析Agent开展消融实验，试图区分哪些组件真正贡献了性能。论文初稿完成后，评审Agent提出方法、实验和论证方面的质疑；若证据不足，系统会重新设计实验，而不是只修改文字。
这套设计把科研任务从一条线性流水线改造成循环。假设、实验、分析、写作和评审不再是彼此割裂的步骤，而是能够相互追问、反复修正的研究状态。ScientistTwo最重要的工程贡献，也正是让批评意见获得了“控制权”：审稿意见可以触发新代码、新对照组和新实验。
80.4%意味着什么
ScientistTwo的80.4%并不等于真实会议接收率，也不能解释为AI已经在八成科学问题上超过人类。入选任务有清晰的数据、可运行的代码、明确的指标和相对稳定的计算环境，本质上属于高度结构化的机器学习研究。它们很适合被转化为可搜索、可计算、可重复的优化问题，却不能代表那些依赖长期观察、理论建构、现场经验或价值判断的研究。
“超过原有SOTA”也需要谨慎理解。不同任务采用不同指标，25.2%的相对提升不能直接视为一种统一的科学效应。一个模型在准确率、损失函数或预测性能上进步，并不自动产生更好的理论解释。系统能够发现有效的程序组合，不等于它已经理解了为什么这些组合有效，更不等于它能够判断这个问题是否值得研究。
论文使用自动评审器和少量人类专家评价生成论文。自动评审结果较高，但自动评审既参与系统循环，又参与最终评价，仍然存在一定的同源偏差。九名人类评审者对33篇生成论文的评价更为克制：总体科学成熟度大致与人类原论文持平，在方法可靠性和严谨性方面，人类论文仍略占优势。
因此，更准确的表述是：ScientistTwo证明了AI已经可以在规定清楚的计算型研究环境中承担相当完整的科研执行工作。这个结论已经足够重要，没有必要再把它夸大为“AI科学家全面超过人类”。
独特之处不在于会写论文
在ScientistTwo之前，AI Scientist、AI Scientist v2、Google Co-Scientist、Robin、X-ray scientist和Paper2Agent等项目已经分别推进了假设生成、代码实验、实验室操作、论文代理化和自动写作。ScientistTwo的独特之处并非首次覆盖其中某一个环节，而是把这些环节组合成较大规模、能够回退的闭环，并用107个真实研究问题检验这一闭环。
它至少带来了三个值得重视的变化。
第一，失败实验不再只是被丢弃的成本，而会成为下一轮假设生成的输入。第二，消融实验不再是论文完成后的装饰，而被纳入研究流程，用来判断性能改进究竟来自哪里。第三，最终产物不只有论文，还包括代码、运行日志、实验记录和审计材料。评价对象由一篇写得是否漂亮的文章，转向一组能否相互核对的研究证据。
AI科研的分水岭，不是机器开始“像学者一样写作”，而是它开始接受失败、批评和复核的约束。
这一点也解释了ScientistTwo的高成本。论文报告的平均运行费用约为每项任务3765美元，通常需要两至三天。主要成本并非生成文字，而是反复运行实验、比较方案、处理失败和回应评审。科研自主性并没有消除研究成本，只是把一部分成本从人工劳动转移到了计算、验证和治理。
AI for Science正在走向研究基础设施
近期AI for Science的发展已经越过单纯问答阶段。Google Co-Scientist使用多个Agent生成、辩论和演化候选假设，并在生物医学问题上与科学家共同验证。FutureHouse的Robin把文献检索、候选药物筛选、实验建议和数据分析连接起来。X-ray scientist进一步让Agent直接控制科研仪器、读取反馈并调整操作。Paper2Agent则尝试把论文、代码和分析环境变成可以交互调用的研究对象。
这些系统指向同一个变化：AI正在从知识界面变成研究基础设施。它开始组织文献、维护实验状态、调用工具、记录失败，并在复杂流程中持续工作。
但基础设施并不等于科学主体。当前系统的表现仍然高度依赖人类预先设定的问题、数据边界、评价函数和停止条件。可以量化的目标越清晰，Agent越容易表现出高度自治；研究问题越开放，理论争议越大，现实环境越复杂，它就越需要科学家的判断。
对于科研训练而言，这意味着学生不应只学习如何向模型提问。更重要的能力是把研究问题转化为可检验任务，同时知道哪些部分不能被轻易形式化。能够写提示词是一种操作技能；能够设计证伪条件、保留独立验证并识别评价偏差，才是研究能力。
社会科学可以借鉴什么
社会科学最值得借鉴的是ScientistTwo的流程结构，而不是它以单一指标追逐SOTA的评价方式。
在量化研究中，AI可以承担文献检索、数据清理、复现分析、稳健性检验、异质性分析和结果报告。SocSci-Repro-Bench已经开始用221项任务评估编码Agent能否依据原始数据和代码复现社会科学结论。相关研究同时发现，提示措辞的轻微变化可能诱导Agent进行确认性搜索。这说明，提示词本身必须进入方法审计，不能被当作无关紧要的操作细节。
在实验研究中，大模型可以辅助预测效应方向和相对大小，帮助研究者筛选假设、估计样本需求和安排验证顺序。但近期针对70项预注册调查实验、469个实验效应和119330名参与者的研究显示，模型虽然能捕捉部分效应结构，却倾向于高估效应量，在复杂、汇总程度较低的任务上也会明显退化。AI适合提供候选判断，不适合直接充当政策证据。
在计算社会科学中，合成人口和多Agent社会模拟正在快速发展。SSDataBench开始检查合成数据能否重现真实人口的变量分布、变量关联、预测结构和时间序列；AgentSociety 2则把AI社会科学家和硅基参与者放进同一环境中，用于执行微观实验、社会网络和城市行为等研究。这里最需要警惕的是“像人”与“代表人”之间的距离。模型能够给出逼真的回答，并不意味着它具有人群代表性；模拟能够生成合理的总体分布，也不意味着其中的因果机制成立。
对质性研究而言，AI同样可以协助材料编码、主题比较、反例检索和证据定位，但不能把专家之间的合理分歧消解成唯一标准答案。质性研究的质量，往往体现在研究者能否说明材料依据、解释边界、竞争性解释和自身立场，而不是能否与某个固定答案逐字一致。
社会科学需要的不是一台自动生产结论的机器，而是一套能够暴露结论如何形成、又可能在哪里失败的研究装置。
社会科学Benchmark为何更难
自然语言、社会行为和制度环境具有强烈的情境依赖。社会科学研究中的“成绩提高”，可能来自更换样本、调整变量定义、改变模型设定，甚至来自不恰当的结果后选择。若Benchmark只检查最终数字，它很难区分真正的方法改进与更隐蔽的研究者自由度。
因此，社会科学Benchmark不能只设一个总分。它至少需要同时观察文献与证据、计算复现、概念测量、因果识别、统计分析、外部效度、社会模拟、质性解释、评审答辩以及伦理治理。不同任务可以形成能力向量，但某些错误必须设置为硬失败：伪造文献或数据、泄露保留测试集、把相关关系表述为因果、利用未披露的多重尝试制造显著性、把模拟结果冒充真实人群证据，或者违反隐私与知情同意要求。
这类Benchmark还需要真正的保留检验。时间保留可以用未来发生的社会结果检验预测；地域保留可以在一个地区开发、到另一个地区验证；人群保留可以隐藏弱势群体或边缘样本，检查平均表现是否掩盖系统性偏差；表述保留则用语义相近但措辞不同的任务重复运行，识别结论是否被提示框架操纵。
对社会模拟而言，评价至少要分三层进行。个体层面检查回答与决策是否合理，关系层面检查变量联系和互动路径，总体层面检查分布、网络与长期序列。任何单层相似都不足以证明模拟可信。平均值相似，可能掩盖完全错误的个体机制；个体回答逼真，也可能拼不出真实社会结构。
更可靠的评价对象是证据链
ScientistTwo最值得社会科学吸收的一点，是把研究过程变成可以审计的对象。一个可靠的社会科学Agent任务，应当保存研究问题与预分析计划、文献时间截断、数据版本、模型与提示版本、代码差异、运行日志、统计结果、评审意见、补证记录以及人工确认点。
研究者还需要把探索数据和确认数据彻底隔离。Agent可以在探索集中反复尝试，但不应接触确认集；最终结论应由独立环境运行，避免系统在完整数据上不断修改假设，最后把偶然显著包装成发现。对于高风险课题，自动数值检查、人类领域专家盲评和独立伦理审查应当共同参与，任何一方都不能被一个漂亮的综合分数替代。
这也会改变论文评价的重点。未来需要审查的不只是最终文本，还包括研究系统在什么条件下改过模型、放弃过哪些方案、怎样响应批评，以及哪些结论依赖人工判断。论文只是研究的可读界面，证据链才是研究的真实产品。
对社会科学研究生意味着什么
ScientistTwo并没有让研究训练失去意义，反而提高了训练要求。重复编码、格式整理和常规稳健性检验会越来越多地交给Agent；问题定义、概念效度、因果边界、证据等级和伦理责任则会变得更重要。
社会科学研究生需要掌握两种同时存在的能力。其一是把研究过程写成机器能够执行和检查的程序，包括明确变量、样本、评价指标、停止条件和失败标准。其二是保留对形式化边界的敏感：哪些概念一旦被量化便损失了含义，哪些群体没有出现在数据中，哪些结果离开制度语境就不能成立，哪些判断必须由研究共同体承担责任。
因此，AI不会简单地把研究者分成“会使用”和“不会使用”两类。更有意义的区分，是谁能够让AI参与一个可审计、可反驳、可复核的研究过程，谁又只是让AI更快地产出看似完整的答案。
科研自主性的边界
ScientistTwo代表了自主科研智能体的一次重要推进。它说明，在研究问题、代码、数据和评价规则都足够结构化时，AI已经能够承担假设生成、实验执行、消融分析、论文写作、模拟评审和补充实验组成的长链条任务。
它尚未证明AI可以替代科学家。科学家仍然决定研究什么、为何研究、什么可以被测量、什么结果值得相信，以及研究可能给谁带来风险。对于自然科学，下一步难点是把计算闭环连接到真实仪器和不稳定的物理世界；对于社会科学，难点还包括概念效度、因果识别、情境解释、群体差异和伦理责任。
ScientistTwo真正打开的，不是一扇通往“无人科学”的门，而是一种新的分工方式。机器可以更勤奋地搜索、更快速地试验、更完整地记录；人类必须更清醒地规定边界、检查证据并承担判断。
当AI能够独立完成越来越长的研究流程，科学共同体真正需要追问的，已经不只是“它做得对不对”，还包括“它为何这样做、证据是否经得起反驳，以及谁愿意为这个结论负责”。
主要参考资料
ScientistTwo: Pioneering the Human Knowledge Frontier with Autonomous AI
The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery
The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search
Accelerating scientific discovery with an AI co-scientist
AI Coding Agents Can Reproduce Social Science Findings
Large language models can predict the results of social science experiments
Evaluating the statistical realism of LLM-generated social science data
AgentSociety 2: An Integrated Research Environment for Executable Social Science
发表评论