Let's Make AGI Real

“人工智能与社会科学研究方法”系列四之一

以大模型为基座、经由生成式应用与智能体架构逐层演进的新一轮人工智能技术，正在同时触动社会科学研究的三块基石：测量的方式、推断的逻辑与证据的标准。与问卷计算机化、统计软件普及、大数据兴起等历次工具更替相比，此轮变化有一处根本不同——它处理的对象是自然语言与意义材料本身，而这恰是社会科学最核心的经验材料。访谈、文本、档案，过去受制于人工阅读的一切，都进入了可规模化处理的范围。

挑战如此之大，恐慌与亢奋都在所难免。历史上每一轮工具革命都伴随真实的问题与对未知的恐惧，而最终的规范，总是由付诸实践的先行者而非指点江山的旁观者写成。与其争论“该不该用”，更有价值的问法应该是：这个问题的性质是什么、谁来解决、多久能解决。由此，作为系列的开篇，本文首先梳理大模型、生成式人工智能、智能体与代理式系统的技术层次与能力边界，直面测量、推断、证据三重挑战的实情；继而提出一个处置框架——把问题区分为将随技术迭代而自行消退的、要求观念与范式更新的、必须以人工与制度手段长期严防的三类，分而治之；最后以“介入深度”与“判断密度”为坐标，为每一项具体研究给出定位的量尺。这套框架同时是系列后续三篇的共同底图：定量研究、质性研究与生成式社会科学，各自的机遇与挑战都将在这张底图上展开。

一　技术形态与能力边界

2022年末以来，以ChatGPT为标志的大模型应用把人工智能从专业社区推向公共视野，也把一组常被混用的概念带进了社会科学的讨论。大模型指在海量文本上经过预训练得到的参数规模巨大的神经网络，能够提供通用的语言理解与生成能力，它是整个技术栈的基座；生成式人工智能指以生成并输出文本、图像、代码等内容为主要功能的人工智能；智能体指在大模型之上叠加记忆、规划与工具调用模块，使系统能够在环境中具有感知、决策并连续行动能力的人工智能应用；代理式人工智能则进一步强调此类系统在较少人工干预下能够自主完成多步骤任务的运行方式。四者在技术谱系上层层递进，共享同一基座，差别主要在封装方式与自主程度。讨论“人工智能对研究方法的影响”，实际上是在讨论这一组能力沿研究流程依次展开时，对各环节所产生的不同作用。

这些能力落到研究实践中，已有相当具体的形态。检索增强的文献助手可以在数分钟内完成一个领域的初步综述并附上出处线索；代码生成使不谙编程的研究者得以完成数据清洗与统计分析；批量文本标注把内容分析的规模上限提高了若干数量级；更进一步的代理式系统，能够把“检索文献—提出假设—设计分析—撰写报告”的链条串联起来自动执行。链条串得越长，人对中间环节的把握越薄，这是方法论必须回答的新问题；但问题的存在从来不构成止步的理由——问题清单恰恰是创新的任务清单。

与社会科学方法史上历次技术更替相比，此轮变化有一处根本不同。问卷的计算机化、统计软件的普及、互联网大数据的兴起，扩展的主要是研究者处理结构化数据的能力；大模型处理的对象是自然语言与意义材料本身，而这恰是社会科学最核心的经验材料。访谈转录、开放题答案、政策文本、媒体报道、历史档案，过去受制于人工阅读速度的材料，如今都进入了可规模化处理的范围。Grossmann等人在《科学》杂志的评论中将其概括为社会科学研究实践的一次潜在转型，并提醒偏差管理与数据保真是决定转型成败的关键（Grossmann et al., 2023）。

评价和判断必须建立在对能力边界的清醒认识之上，而能力边界通常源自于内部机制。大模型以概率方式逐词生成文本，输出的流畅程度与内容的可靠程度之间没有必然联系，编造事实与出处的现象（通称“幻觉”）根植于生成机制本身；训练数据决定了模型的知识截止时间与文化重心，对非英语社会与边缘群体的表征系统性偏薄；同一提示在不同时间、不同参数设置下可能得到不同输出，稳定性逊于传统统计软件。看清这些性质的目的在于用好而非弃用：知道仪器的误差结构，才谈得上设计补偿误差的实验。

二　三重挑战：测量、推断与证据

测量层面的变化最为直观，也最令人振奋。内容分析长期受人工编码瓶颈的约束，训练编码员、编制手册、核对信度，成本随语料规模线性增长。Gilardi等人的实验显示，ChatGPT在推文与新闻文本的相关性、立场、主题等标注任务上，零样本准确率平均超过众包工人约二十五个百分点，编码一致性也高于众包工人乃至受训标注员（Gilardi, Alizadeh, & Kubli, 2023）。Ziems等人对十三个模型、二十五项计算社会科学基准的系统评估给出了更精细的图景：在分类任务上，大模型尚不敌经过微调的专用模型，但已能与人工标注达成中等程度的一致；在生成解释性文字的任务上，其产出质量常常超过众包工人提供的参考答案（Ziems et al., 2024）。两项研究合观，含义在于：文本作为数据的使用门槛被大幅拉低，规模化测量从资源密集型工程变为多数研究团队可负担的常规操作。过去因人力不可及而搁置的研究问题，现在到了重新翻检的时候。

推断层面的挑战更深。计算社会科学界近年反复讨论预测与解释的分野：以样本外表现见长的机器学习，同以参数可解释性为中心的社会科学建模，追求的目标不同，评价的标准各异，混用两套标准是常见的错误来源（Hofman et al., 2021）。大模型把这层张力从模型选择推进到了研究设计深处——它不仅能预测，还能就任何结果生成一段读来头头是道的解释文字。解释的表象从未如此易得，而真解释的标准并未因此改变。分辨流畅的叙述与经得起检验的解释，成为定量与质性研究共同面对的新课题；这门课题考验的与其说是工具，毋宁说是研究者自己的方法论功底。

推断之外，生成能力还带来了一类前所未有的研究形态：让模型扮演被试、让智能体组成人工社会。经典的方法分类里，工具处理数据；此处工具开始生产貌似来自人类的数据，甚至生产貌似社会过程的动态。这是半个世纪以来社会科学离“可实验的宏观社会”最近的一次，其价值与风险都足够独特，本系列第四篇将专门讨论。

证据层面，可复现性首当其冲。Chen、Zaharia与Zou对GPT-3.5与GPT-4在2023年3月与6月两个版本上的对比测试显示，同一模型名称下的行为在数月之间大幅漂移，某些任务的准确率从八成以上跌落到五成上下（Chen, Zaharia, & Zou, 2023）。Sclar等人则发现，仅仅改变提示词的格式细节——分隔符、大小写、空行，语义内容分毫未动——开源模型在少样本设置下的任务准确率波动可达数十个百分点（Sclar et al., 2024）。这些发现常被引作怀疑论的论据，但更准确的读法是工程学的：它们标出了新仪器的误差来源，而误差来源一旦被标出，就进入了可管理的范围。应对之道后文将详细论述。

三　问题的三种性质：自愈、更新与严防

面对一张不短的问题清单，笼统的乐观与笼统的悲观同样廉价。有价值的问法是：每个问题的性质是什么，谁来解决，多久能解决。由此可以把问题分为三类，三类的处置方式截然不同。

一类问题会随技术迭代与工程实践自行消退，可称自愈型问题。幻觉率在检索增强、工具调用与新一代模型上已明显下降；上下文窗口从数千词扩展到百万词量级，长文档处理的障碍逐步瓦解；推理成本以每年数倍的速度下探；开放权重模型的性能持续逼近商用接口，为广泛应用于研究环境提供了现实可能；多语言能力的差距也在收窄。对这类问题，恰当的姿态是跟踪而非恐慌：今天为绕开它们设计的迂回方案，两年后多半可以拆除。以当前版本的缺陷论证方法的不可行，如同以早期显微镜的色差论证微生物学没有前途。

一类问题的症结在观念，技术进步解决不了，观念更新才解决得了，可称范式型问题。可复现性是最典型的一例：既有规范默认分析工具是确定性的，同样的代码跑出同样的结果；概率性工具进场后，合理的标准应当从“逐位复现”转向“统计意义上的复现”加“过程的完全透明”——多次运行报告分布、完整披露提示与版本、公开可核查的日志。标准并未因此降低，只是改建在与工具性质相称的基础之上；实验科学面对生物变异早就完成过同类转身。预测与解释的关系同样需要重估：预测长期被视为解释的副产品，而Hofman等人主张的“预测与解释的整合”实际上是给预测正名，承认其独立的科学地位（Hofman et al., 2021）。此外还有人工智能贡献的署名与问责规则、评审制度如何评估用新工具的研究等，皆属此类。只有观念获得突破，方法才能取得进步。范式型问题的特点是：拖延不决的成本由整个学科承担，而推动更新的机会属于先行者。前不久华东师范大学学报以大模型作为第一作者发表论文的探索就属于此类，虽然后面被一只看不见的手撤稿，但破冰意义还在。

余下一类问题无法靠技术自愈，也无法靠观念消化，必须以人工核验与制度设计长期设防，可称严防型问题。数据生态的污染居首：Veselovsky等人估计，在一项文本摘要类众包任务中，约三分之一到近半数的众包工人借助大模型完成作业（Veselovsky, Ribeiro, & West, 2023），“纯人类数据”的稀缺化是结构性趋势，只能靠采集设计与验证制度对冲。高风险场景的事实核查、涉及人的决策中的公平取舍、研究伦理中的知情同意与隐私保护，性质相同。这些环节的人工把关与制度约束，任凭模型多强都无法消除。Messeri与Crockett所警示的“理解的幻觉”与科学单一文化亦属此列（Messeri & Crockett, 2024）——对策是研究共同体自觉维持方法与工具的多样性，而这恰恰要求更多人以不同方式使用新工具。

三类问题的区分可以用来让争论更加理性。但争论中常见的错位是：一方举着自愈型问题论证工具不可用，另一方拿着技术路线图轻慢严防型问题。把问题各归其类，讨论才能对形成共识起到作用：对自愈型问题应该保持耐心，对范式型问题应呼吁更新观念，对严防型问题必须寸步不让。

四　介入深度与判断密度：一个分析坐标

具体到每一项研究，还需要一个操作层面的坐标。横轴不妨称为介入深度：从由人主导而机器辅助（校对、转录、检索），到人机协作（人定规则、机器批量执行、人工抽检），再到机器主导而人事后审核，直至机器自主完成。纵轴可称为判断密度：一项研究环节对概念界定、因果逻辑、伦理权衡、意义诠释等学术判断的依赖程度。文献检索、格式转换、语料清洗的判断密度较低；概念界定、研究设计、质性诠释、结论表述的判断密度极高。

坐标给出的准则是：判断密度低的环节，放手让渡，注重效率提高；判断密度高的环节，介入愈深愈须配以人类的实质审核与完整的透明披露。这条准则的精神是进取的——它划出安全区正是为了让人在安全区内大胆行动，同时把有限的核验精力集中到真正要害的部位。关于“自动化偏见”的研究一再表明，人类审核者面对看似合理的机器输出时，发现错误的能力被系统性高估；所以要害部位的审核必须是制度化的程序，而非良好的意愿。

研究方法的发展史还提供了一条值得记取的规律：新工具的使用规范，从来由率先使用并公开报告得失的人写成。统计检验、抽样调查、计算机辅助分析，每一样在进入社会科学之初都遭遇过“背离学术传统”的质疑，而最终为它们划定恰当边界的，恰是那些认真用过、碰过壁、然后把经验写成规程的研究者。当下正处于这样的规范真空期：期刊政策未定，评审标准未成，教科书尚待改写，正是未来学者抓住机遇大显身手的时刻。对有方法论抱负的研究者，这是数十年一遇的窗口——此时进场，交的是学费；此时观望，错过的是为下一代研究立规矩的席位。

沿着本文的讨论脉络，后续三篇各守一个战场。第二篇考察定量研究：测量能力的扩张如何与推断“纪律”的重建并行；第三篇考察质性研究：在守护意义建构的同时，兼容区间内的创新空间有多大；第四篇考察生成式社会科学：一个正在诞生的方法范式需要怎样的验证制度。三条线索归于同一个判断：此轮技术送来的与其说是现成的答案，毋宁说是重申方法论第一性原理的契机——什么算测量、什么算证据、什么算解释，每一项都值得在新工具面前重新回答一遍。

参考文献

Chen, L., Zaharia, M., & Zou, J. (2024). How is ChatGPT’s behavior changing over time? Harvard Data Science Review, 6(2). https://doi.org/10.1162/99608f92.5317da47

Gilardi, F., Alizadeh, M., & Kubli, M. (2023). ChatGPT outperforms crowd workers for text-annotation tasks. Proceedings of the National Academy of Sciences, 120(30), e2305016120. https://doi.org/10.1073/pnas.2305016120

Grossmann, I., Feinberg, M., Parker, D. C., Christakis, N. A., Tetlock, P. E., & Cunningham, W. A. (2023). AI and the transformation of social science research. Science, 380(6650), 1108–1109. https://doi.org/10.1126/science.adi1778

Hofman, J. M., Watts, D. J., Athey, S., Garip, F., Griffiths, T. L., Kleinberg, J., Margetts, H., Mullainathan, S., Salganik, M. J., Vazire, S., Vespignani, A., & Yarkoni, T. (2021). Integrating explanation and prediction in computational social science. Nature, 595(7866), 181–188. https://doi.org/10.1038/s41586-021-03659-0

Messeri, L., & Crockett, M. J. (2024). Artificial intelligence and illusions of understanding in scientific research. Nature, 627(8002), 49–58. https://doi.org/10.1038/s41586-024-07146-0

Sclar, M., Choi, Y., Tsvetkov, Y., & Suhr, A. (2024). Quantifying language models’ sensitivity to spurious features in prompt design or: How I learned to start worrying about prompt formatting. In The Twelfth International Conference on Learning Representations. https://openreview.net/forum?id=RIu5lyNXjT

Veselovsky, V., Ribeiro, M. H., & West, R. (2023). Artificial artificial artificial intelligence: Crowd workers widely use large language models for text production tasks. arXiv. https://doi.org/10.48550/arXiv.2306.07899

Ziems, C., Held, W., Shaikh, O., Chen, J., Zhang, Z., & Yang, D. (2024). Can large language models transform computational social science? Computational Linguistics, 50(1), 237–291. https://doi.org/10.1162/coli_a_00502