Let's Make AGI Real

“人工智能与社会科学研究方法”系列文章四之二

定量社会科学等待这样一次测量的革命已经很久了。“文本即数据”的方法家族问世十余年，却因监督学习对海量人工标注的依赖，长期停留在少数计算资源雄厚的团队手中；大模型的零样本标注能力拆掉了这道门槛，文本、图像与音频正在进入常规数据来源，过去写在论文“局限与展望”里的题目，如今已完全可以写进研究设计。对多数研究者而言，约束正从“能不能做”变成“想不想得到”。

机遇的大小决定了是否值得对挑战作精细的分类。这篇文章按照上一篇提出的“自愈、更新、严防”三个分类逐一处置：提示敏感性与版本漂移属于会随技术与工程实践缓解的仪器问题，已有现成或正在成熟的对策；可复现性标准与预测的科学地位属于亟待观念更新的范式问题——概率性仪器进场后，“逐位复现”应让位于“统计复现加过程透明”，而预测问题的独立价值也该得到承认；提示词操纵、自动化偏见与算法公平的价值取舍，则属于必须以人工与制度手段长期严防的问题，其中算法公平的不可能定理恰恰为社会科学家开出了新岗位。本文主张：以积极使用加严格规训的姿态抢占方法创新的窗口，而非以观望等待一个不会自动到来的“成熟期”——方法史不会记住谁等得最稳妥，只会记住谁先把新仪器校准到可以得出科学结论的精度。

一　文本即数据：一次迟到的测量革命

定量社会科学对文本的兴趣由来已久。Grimmer与Stewart十余年前系统总结了“文本即数据”的方法家族，同时直言自动化方法只是对人工细读的增强与放大，任何模型的输出都必须接受验证（Grimmer & Stewart, 2013）。彼时的监督学习路线要求为每项任务准备成千上万条人工标注，训练分类器的成本本身构成门槛，文本分析因此长期是少数计算资源雄厚的团队的专长。大模型拆掉了这道门槛：零样本或少样本即可执行标注任务。Gilardi等人的对照实验显示，ChatGPT在推文与新闻的相关性、立场、主题、框架识别等任务上，零样本准确率平均超过众包工人约二十五个百分点（Gilardi, Alizadeh, & Kubli, 2023）；Ziems等人更系统的基准评估表明，大模型在分类任务上尚未超过微调的专用模型，但与人工标注的一致性已达可用水平，在开放式解释任务上甚至常优于众包参考答案（Ziems et al., 2024）。政策文本、议会辩论、历史报刊、跨语言语料，规模化编码的可行范围陡然扩大——对多数研究者而言，约束从“能不能做”变成了“想不想得到”。

测量对象的范围也在扩大。多模态模型使图像、音频乃至视频进入可编码的行列：抗议照片中的人群规模与情绪、政治广告的视觉修辞、访谈录音中的语气变化，过去只能人工细看细听的材料，如今可以尝试规模化处理。新的模态引入新的误差结构，验证经验也远比文本单薄，先行者须步步为营；但正因为验证经验单薄，此处的每一项方法论工作都是开创性的。

机遇的规模决定了验证的分量。总体一致率是最常被引用的指标，也最容易造成错觉：模型在“事实陈述”一类边界清晰的类别上表现优异，在反讽、含蓄批评、文化隐喻等语用复杂的类别上明显失手，而总体指标恰好把两端平均掉了。负责任的做法是按类别分解报告，并区分误差的性质。随机误差稀释统计功效，尚属可控；系统性误差——例如一贯地把温和批评归为中性——带有惯性，会原样传导进下游的回归系数与假设检验，比随机误差危险得多。测量学的老规矩在新工具上绝不能省略；但也应看到，黄金律对照、编码手册迭代这些验证程序大都属于一次性投入，一经确立便可在后续研究中复用，它们是新型测量的资产而非负债，值得认真对待。

效度问题还须再进一层。用模型对文本打出的“立场强度”“情绪倾向”，究竟是测到了研究者意图测量的构念，还是测到了语料中某种相关而不相同的东西？对于效度的检验，在人类编码时代靠编码手册的概念论证与编码员培训来保证，如今则需要为模型建立对应的证据，与既有测量的相关度、在已知差异群体间的区分力、以及对无关扰动的稳定性等等，都需要考量。测量不变性的问题在跨语言、跨群体研究中尤为尖锐——主要在英语语料上训练的模型，对不同语言、不同方言社群、不同年代文本的“同一把尺子”未必等距。这一课题目前近乎空白，正等待年青一代方法论研究者的进场：谁先建立起大模型测量的效度检验范式，谁就为整个领域定下标尺。

二　因果框架内外：分工而非禁区

机器学习与计量经济学的分工，Mullainathan与Spiess有过著名的概括：前者的本领是估计预测值，后者的本领是估计参数，两类问题的目标函数不同，混淆两者是应用中最常见的错误（Mullainathan & Spiess, 2017）。这一分工常被读成对机器学习的设限，其实倒过来读更有建设性：它也为预测正了名。有些问题本身就是预测问题——Kleinberg等人举过说明性的例子：决定是否为高龄病人施行关节置换手术，需要预测的是病人的预期存活时间，此处不需要任何因果参数，预测本身即有政策价值（Kleinberg, Ludwig, Mullainathan, & Obermeyer, 2015）。社会科学长期把预测视为解释的副产品，附带的结果是把一大类真实的决策需求让给了工程师；承认预测问题的独立地位，等于为定量研究收复一片应用疆土。

在因果框架之内，机器学习的最大贡献集中于异质性发现，这也是政策研究最可开垦的处女地。传统方法报告平均处理效应，而平均数可能掩盖巨大的群体差异。Athey与Imbens发展的递归划分方法与Wager与Athey的因果森林，能够在可信的实验或准实验设计之上，估计处理效应随协变量变化的条件面貌，让“对谁有效”从事后猜测变为可估计的量（Athey & Imbens, 2016; Wager & Athey, 2018）。双重去偏机器学习则让研究者在高维控制变量下仍能获得对目标参数的有效推断（Chernozhukov et al., 2018）。设想一项职业培训项目的随机评估：平均效应为正但幅度平平，条件效应的估计却可能显示效应高度集中于某一部分参与者——预算有限的政策场景里，这类信息直接改变资源投放的方式。这些工具的共同前提值得重点说明：它们增强的是异质性发现与函数形式的灵活性，因果识别本身仍系于研究设计。前提守住了，工具的想象空间就可以放开。

异质性分析的规则与其适用场景同样清楚：事后在数十个亚组里翻找显著效应，与P值操纵无异；诚实的做法是把亚组假设预先登记，或使用因果森林一类把探索过程本身纳入统计框架的方法，并对发现的异质性做样本外验证。界线的另一侧也要看清：机器学习筛选出的“重要变量”，重要在预测意义上；因果分析里，一个强代理变量可能恰恰是需要警惕的混淆源。用居住街区预测再犯风险可以相当准确，但街区只是社会经济条件的代理，据此加强监控便滑入了预测性歧视。预测模型的变量重要性排序，提示的是值得检验的假设，读法对了，它是假设的富矿；读法错了，它是歧视的说明书。

三　天花板与取舍：把冷水泼在正确的位置

预测能力的限度需要清醒估计，但估计的目的在于校准期望，而非弃之不用。“脆弱家庭挑战”组织了一百六十支研究团队，用同一份包含数千个变量的高质量追踪数据，预测数千名儿童的六项人生结局；结果最好的模型也只解释了很小一部分结局方差，且复杂机器学习方法相对简单基准模型的改进甚微（Salganik et al., 2020）。社会结局的低可预测性看来并非数据或算法的暂时缺陷，而更接近社会过程本身的性质。这一发现的正面价值常被低估：它给全部预测应用画出了诚实的基线，也提示凡声称大幅突破此限的结果，第一件事是检查数据泄漏与评估设计。知道天花板在哪里，恰是敢于在天花板之下放手工作的前提。

当预测进入关涉个人命运的决策，出现的已被证明的硬约束，反而给社会科学家开出了新岗位。Chouldechova与Kleinberg等人分别证明：当不同群体的基础率存在差异，预测校准、假阳性率均等、假阴性率均等这几项直觉上都应满足的公平标准，在数学上不可能同时成立（Chouldechova, 2017; Kleinberg, Mullainathan, & Raghavan, 2017）。世上不存在一个调试到位便“完全公平”的算法，只存在必须在公平标准之间做出的取舍；而取舍属于价值判断，工程学给不出答案，这正是社会科学的专业辖区。算法决策的每一次公共部署，都需要有人说明约束的存在、把隐含的取舍摆上台面、评估不同方案落在不同人群头上的后果——定量社会科学家不去占据这个位置，位置不会空着，只会被更不合适的人占据。

与之相邻的是自动化偏见：当模型输出以整齐的分数与置信度呈现，人类决策者倾向于高估其可靠性，“由人最终把关”便退化为橡皮图章。把关要有实质，把关者须有质疑模型的能力、时间与激励措施，三者都是制度设计问题。此类问题没有技术解，也永远不会有——它们是三分法里标准的严防型问题，值得学界持续投入。

四　仪器问题、范式问题与红线问题

大模型作为分析工具的特有威胁，按性质归类后各有各的出路。先看会随技术与工程实践显著缓解的一组。提示敏感性——Sclar等人显示格式层面的微小扰动即可造成准确率大幅波动（Sclar et al., 2024）——本质是仪器的噪声特性，新一代模型的鲁棒性在改善，结构化调用接口在普及，敏感性测试也已有成熟做法：对措辞、格式与参数各做变体，报告结果的稳定区间。版本漂移——Chen等人记录了商用接口数月间的行为漂移（Chen, Zaharia, & Zou, 2023）——已有现成的根治方案：开放权重模型本地部署，锁定权重与环境，彻底收回控制权；退一步，锁定带日期的版本标识加基线快照，也能把漂移变成可检测的事件。这一组问题两三年内的面貌会与今天大不相同，为它们过度设防，不如把防线修在下一组。

第二组是范式问题，技术再进步也绕不开观念这一关。概率性仪器进场后，可复现性标准应从“逐位复现”转向“统计复现加过程透明”：关键分析多次运行报告一致性，提示词、版本、参数完整披露，日志可供核查。记录的详略随研究分量分级——探索性分析记录版本、日期、参数与提示词全文即可起步；正式发表加数据版本、评估指标与敏感性测试；高影响成果再加完整日志、多模型对照与公开归档。把这套分级当作投稿的通行证而非负担，心态就对了：范式转换期，方法透明本身就是竞争优势，规范的书写权属于最早把它做出来给同行看的人。

第三组是必须严防的红线。反复调整提示词直至得到“合意”结果，与反复调整模型设定直至P值过线，性质并无二致；Cummins的分析显示，模型选择、采样参数、提示格式、背景信息给法等各自合理的选项相乘，构成庞大的分析组合空间，不同组合可以导出实质不同的结论（Cummins, 2025）。对策与实验科学同理：预注册分析方案，区分确证性与探索性，敏感性测试的负面结果与正面结果同等报告。评估设计的老练也属此列：时间序列须前向验证，多层数据须按高层单位分割，时间外推与跨群体外推直接度量结论的适用边界，多模型对照表明发现属于数据还是属于某个模型。这些是人的纪律，不是机器的功能，任何版本的模型都替代不了。

总而观之，定量研究此刻的处境可以一言蔽之：测量能力的一次历史性扩张，配上一份并不苛刻的规训清单。仪器问题终会淡出，范式问题等人破题，红线问题要人值守——三件事没有一件构成观望的理由。方法史不会记住谁等得最稳妥，只会记住谁先把新仪器校准到可以出科学的精度。下一篇转向质性研究：那里的争论更尖锐，创新的空间也同样可观。

参考文献

Athey, S., & Imbens, G. (2016). Recursive partitioning for heterogeneous causal effects. Proceedings of the National Academy of Sciences, 113(27), 7353–7360. https://doi.org/10.1073/pnas.1510489113

Chen, L., Zaharia, M., & Zou, J. (2024). How is ChatGPT’s behavior changing over time? Harvard Data Science Review, 6(2). https://doi.org/10.1162/99608f92.5317da47

Chernozhukov, V., Chetverikov, D., Demirer, M., Duflo, E., Hansen, C., Newey, W., & Robins, J. (2018). Double/debiased machine learning for treatment and structural parameters. The Econometrics Journal, 21(1), C1–C68. https://doi.org/10.1111/ectj.12097

Chouldechova, A. (2017). Fair prediction with disparate impact: A study of bias in recidivism prediction instruments. Big Data, 5(2), 153–163. https://doi.org/10.1089/big.2016.0047

Cummins, J. (2025). The threat of analytic flexibility in using large language models to simulate human data. arXiv. https://doi.org/10.48550/arXiv.2509.13397

Gilardi, F., Alizadeh, M., & Kubli, M. (2023). ChatGPT outperforms crowd workers for text-annotation tasks. Proceedings of the National Academy of Sciences, 120(30), e2305016120. https://doi.org/10.1073/pnas.2305016120

Grimmer, J., & Stewart, B. M. (2013). Text as data: The promise and pitfalls of automatic content analysis methods for political texts. Political Analysis, 21(3), 267–297. https://doi.org/10.1093/pan/mps028

Kleinberg, J., Ludwig, J., Mullainathan, S., & Obermeyer, Z. (2015). Prediction policy problems. American Economic Review, 105(5), 491–495. https://doi.org/10.1257/aer.p20151023

Kleinberg, J., Mullainathan, S., & Raghavan, M. (2017). Inherent trade-offs in the fair determination of risk scores. In 8th Innovations in Theoretical Computer Science Conference (ITCS 2017) (LIPIcs, Vol. 67, pp. 43:1–43:23). Schloss Dagstuhl. https://doi.org/10.4230/LIPIcs.ITCS.2017.43

Mullainathan, S., & Spiess, J. (2017). Machine learning: An applied econometric approach. Journal of Economic Perspectives, 31(2), 87–106. https://doi.org/10.1257/jep.31.2.87

Salganik, M. J., Lundberg, I., Kindel, A. T., Ahearn, C. E., Al-Ghoneim, K., Almaatouq, A., Altschul, D. M., Brand, J. E., Carnegie, N. B., Compton, R. J., Datta, D., Davidson, T., Filippova, A., Gilroy, C., Goode, B. J., Jahani, E., Kashyap, R., Kirchner, A., McKay, S., … McLanahan, S. (2020). Measuring the predictability of life outcomes with a scientific mass collaboration. Proceedings of the National Academy of Sciences, 117(15), 8398–8403. https://doi.org/10.1073/pnas.1915006117

Sclar, M., Choi, Y., Tsvetkov, Y., & Suhr, A. (2024). Quantifying language models’ sensitivity to spurious features in prompt design or: How I learned to start worrying about prompt formatting. In The Twelfth International Conference on Learning Representations. https://openreview.net/forum?id=RIu5lyNXjT

Wager, S., & Athey, S. (2018). Estimation and inference of heterogeneous treatment effects using random forests. Journal of the American Statistical Association, 113(523), 1228–1242. https://doi.org/10.1080/01621459.2017.1319839

Ziems, C., Held, W., Shaikh, O., Chen, J., Zhang, Z., & Yang, D. (2024). Can large language models transform computational social science? Computational Linguistics, 50(1), 237–291. https://doi.org/10.1162/coli_a_00502