“人工智能与社会科学研究方法”系列文章四之四
让大模型扮演受访者、让智能体组成人工社会——这是本轮技术送给社会科学的一件真正的新事物。自Schelling的隔离模型以来,基于主体的建模已有半个世纪的传统,其长期软肋在于主体过于简陋;大模型恰好补在这块短板上,社会科学距离 “可实验的宏观社会”从未如此之近。抽样成本攀升、罕见人群难以触达、大量要害问题在伦理上不容实验操纵——若模拟方法在某些用途上足够可信,它填补的正是方法版图上最难填的空白。

期望越高,越须把证据摆正。“硅基被试”研究的正反两面都已相当扎实:算法保真的演示与分布扁平化、社会期望倾向的系统性失真并存;而访谈校准一类技术路线又证明,失真对投入是有响应的、并非方法的宿命。作为系列的结尾,本文先对这些证据作动态判读,给出分级的用途判断;继而考察生成式智能体模拟的进展,主张以回溯复现、并行预测、跨情境泛化的验证阶梯与预注册制度为新范式立法;最后必须设定严防的红线:数据生态的污染、模拟能力的操纵性滥用与数字分身的权益。范式创建期席位有限,进场要趁早,地基要打牢——社会科学此刻需要的,是更多带着纪律进场的挑战者,而非隔岸观火的评论家。
一 硅基被试:证据的两面
想法本身很简单:大模型既然习得了海量人类语言,其中必然压缩着不同人群的态度结构与话语方式;给它设定一个人口学身份,让它以该身份回答问卷,是否就得到了一个近乎免费的“被试”?Horton把大模型称为模拟的经济行动人,演示了用其重现最后通牒博弈等经典行为实验的可能,并主张将其用于正式实验之前的廉价探索(Horton, 2023)。Argyle等人走得更远,提出“算法保真”概念:经过背景条件化的GPT-3能够再现美国不同亚群体投票倾向的分布轮廓,语言模型因此可以充当特定人群的有效代理(Argyle et al., 2023)。
社会科学界对这一设想的兴趣有其深层缘由。抽样调查的成本逐年攀升而应答率逐年下滑;罕见人群——特定职业、特定经历、特定疾病的群体——按传统方式抽样近乎不可行;许多最要紧的研究问题在伦理上根本不允许实验操纵,战争、失业、歧视都无法随机分配。若模拟被试在某些用途上足够可信,它填补的恰是方法版图上最难填的空白。正因期望如此之高,对证据的检视才须格外严格——严格是为了让这件新工具真正立得住,而非把它扼杀在摇篮里。
相反的证据必须直视。Santurkar等人的测量显示,模型的默认意见分布与美国总体存在系统偏移,明显更靠近部分人群的立场,即便施加人口学引导,对齐的改善依然有限(Santurkar et al., 2023)。Bisbee等人对合成调查数据的检验更为不利:均值看似合理,方差被显著压缩,态度与人口学协变量之间的关联结构失真,结果还对提示措辞与模型版本高度敏感(Bisbee et al., 2024)。两面证据合观,失真呈现清晰的结构:一种可称分布扁平化,模型倾向输出人群的“典型”回答,真实人群中的方差、极端立场与内在矛盾被削平——它模拟得了平均数,模拟不好多样性;另一种是社会期望倾向,模型偏向体面的、社会赞许的回答,而真实的人常常并不体面、也不一致。
要紧的是对失真作动态而非静态的判读。两种失真都与模型的训练目标同源,提示词工程只能部分缓解;但“当前版本的属性”与“方法的宿命”是两回事——访谈校准一类技术路线已经证明,失真可以被大幅压缩,第二节的证据将说明这一点。据此可以给出分级的用途判断:问卷预测试、实验材料打磨、假设生成等探索性环节,现在就可以放手使用;以合成样本直接替代人类样本进行参数估计,现有证据不支持,边界在哪里、何时移动,应交由持续的基准测试说话。今天的结论带着今天的版本号,这本身就是这个快速演化领域的方法论常识。
二 从硅基被试到人工社会
把多个模型驱动的主体放进虚拟环境,则接续着社会科学一条久远的脉络。基于主体的建模自Schelling的隔离模型以来已有半个世纪的传统:以简单的个体规则生成复杂的宏观格局,用“生成”来理解“涌现”(Schelling, 1971)。这一传统的长期软肋在于主体过于简陋——几条手写的规则承载不了真实行动者的丰富性。大模型恰好补在这块短板上,这也是为什么此处的进展最值得期待。
Park等人的“生成式智能体”实验中,二十五个具备记忆、反思与规划模块的智能体在一座虚拟小镇里生活,研究者只给定初始设定,信息扩散、关系形成与集体活动的组织便从个体互动中自发涌现(Park et al., 2023)。行为规则无须由建模者手工编写,而由语言模型的生成能力承担——基于主体建模的表达力由此上了一个台阶。
2024年,同一团队把个体保真推向新高度:对一千零五十二名真实个体各进行约两小时的深度访谈,以访谈记录充当记忆,为每人构建对应的“数字分身”。在综合社会调查的题目上,分身预测本人回答的准确度,达到了本人两周后重测一致性的百分之八十五;与仅用人口学画像构建的智能体相比,访谈校准的分身预测更准,且缩小了不同种族与意识形态群体之间的准确率落差(Park et al., 2024)。这项工作的方法论意义超出数字本身:它证明失真对校准投入是有响应的——深度个体信息换来保真度与公平性的同步改善,前一节的“扁平化”并非不可逾越。它同时标出代价与参照系:两千余小时的访谈说明高保真绝非免费;而“人对自己答案的重测一致性”这一基准提醒,模拟所要逼近的对象原就漂移不定,苛求模拟超越人类自身的稳定性并不合理。
多智能体模拟要成为证据而非演示,校准是最容易被跳过却最要紧的一环。稳妥的做法从基线开始:让智能体完成一组已有真实人群数据的标准化测量,比较响应分布——不只比均值,还要比方差与相关结构,分布扁平化正是在方差上现形。行为层面再做一轮对照:在模拟情境中观察智能体的自发行为,与真实情境下的人类行为模式比对。发现系统性偏差,则调整提示、参数与记忆内容,迭代至偏差可以接受并如实记录。模拟运行期间还须持续监控:智能体的行为是否随时间漂移,群体是否趋于同质而失去初始化时的多样性。这套程序今天做起来繁琐,但它正是把“演示”升格为“证据”的那道工序——愿意做这道工序的团队,目前还非常稀少,机会也正在此。
三 为新范式立法:验证阶梯与预注册
对模拟结论的恰当期待,可以归结为一条表述纪律:模拟的结论永远是有条件的。一个模拟显示某种干预能缓和群体极化,严格的说法是“在该模型的假设之下,结果与理论预测一致”;宣称模拟“证明”了干预有效,则逾越了方法所能支持的边界。这条纪律不贬低模拟的价值——理论物理的思想实验、经济学的均衡模型同样是“有条件的知识”,条件说清楚了,知识就是硬的。模拟最可靠的产出是假设与机制候选;检验假设的法庭仍设在真实世界,而为法庭准备最有力的起诉书,正是模拟的本职。
要让模拟从“看起来像”走向“站得住”,验证须成阶梯。起点是回溯复现:选取已有真实数据的现象——一次已结束的选举、一项已实施的政策——检验模拟能否复现已知结果;此级的陷阱是过拟合,参数总能调到与已知答案相符,故须在多个相互独立的现象上重复检验。更严格的一级是并行预测:在现象展开的同时运行模拟并预测其走向,事后无从调参,检验力显著更强。最严格的一级是跨情境泛化:把在一处校准的智能体移入相关但不同的情境,考察其表现是否仍然合理。逐级而上,证据强度递增。现有研究多数停留在回溯一级——与其把这读作领域的污点,不如读作阶梯上方的空位:并行预测与跨情境泛化的每一次严肃尝试,都会成为被反复引用的标杆工作。
以群体极化研究为例可以看清这套纪律的用处。此类模拟的常见做法,是以真实调查数据初始化智能体的立场分布,将其置入设定的网络结构,观察若干轮互动后极化指标的走向,再引入某种干预比较差异。这样的设计能给理论提供一个可反复操演的实验台,但每一步都踩在假设之上:智能体的更新规则是否近似真人,网络结构是否合乎实情,而模型固有的社会期望倾向——偏好体面与附和——可能系统性低估真实社会的对抗强度,令“干预有效”的结论偏于乐观。把这些假设一一写明并逐项检验,模拟就是理论的实验台;含糊带过,它就退化为动画。
模拟研究的另一重威胁是分析自由度。Cummins的分析显示,用大模型模拟人类数据时,模型选择、采样参数、提示格式、背景信息的给法等各自合理的选项相乘,构成数以百计的分析组合,不同组合足以导出实质相反的结论(Cummins, 2025)。约束的办法与实验科学同理:预注册——运行之前登记假设、智能体设计、校准方案、结果度量与验证计划,把确证性分析与探索性分析事先分开、各按其位报告。模拟的边际成本低到可以无限重跑,这正是它比传统实验更需要预注册的原因:自由度越廉价,事前的自缚越金贵。可复现性则须工程护航:尽量使用本地部署的开放权重模型,锁定权重与推理环境,显式设置随机种子,归档全部提示词与交互日志;使用商用接口时锁定带日期的版本,模拟前后用固定测试集各跑一次基线以侦测漂移。这些规矩今天写下来,就是明天教科书里的“标准做法”——新范式的立法权,此刻正摊在桌面上。
四 严防的红线与开阔的前景
必须严防的问题有三处,任何技术乐观都不应遮蔽。数据生态的污染居首:Veselovsky等人估计,在一项文本类众包任务中,约三分之一到近半数的众包工人借助大模型完成作业(Veselovsky, Ribeiro, & West, 2023);在线数据中的机器成分只增不减,校准与验证模拟所需的“纯人类基准”正在稀缺化,而模型生成的内容回流为语料、再被下一代模型习得,反馈回路可能让失真自我强化。对策在采集端与制度端:来源可溯的一手数据采集、人类身份的验证机制、高质量人类数据集的公共建设。这也意味着传统田野工作、实验室研究与追踪调查的价值将不降反升——它们生产的正是未来最稀缺的原料。
其次是滥用。模拟对说服与动员策略的推演能力,可以为操纵所用——在虚拟人群上试验哪种话术最能撬动立场,再施之于真实选民。数字分身还牵出权益问题:被访者签署同意书之时,多半想不到自己的记忆会驱动一个可被反复提问的软件实体,分身的后续用途应在多大程度上由本人控制,需要明确的授权与撤回机制。现行伦理审查大多按“不涉及人类被试”将模拟研究归入免审之列,上述风险恰恰落在这套框架的盲区。方法的先行者有责任推动规则的补课,而非利用规则的迟到——这既是伦理义务,也是自利之举:一两桩丑闻足以让整个方向背上污名。
余下的问题,前景其实开阔。保真度、成本、多语言覆盖会随模型与校准技术持续改善,属于可以托付给时间的部分。证据观的更新则要靠共同体自己:接受“有条件的结论”作为正当的知识形态,为模拟研究建立专门的评审标准与报告规范,把预注册与验证阶梯写进期刊的投稿指南。生成式方法还在松动定量与质性的传统分界——大模型让访谈记录与开放文本规模化地进入统计分析,生成式智能体又让模拟带上可供细读的“质性”纹理——单个研究者得以更低的成本横跨数种传统,方法多元不再受技能与预算的硬性约束。Messeri与Crockett所警示的单一文化风险,解药同样在多样性:多元的模型、多元的方法、多元的提问方式(Messeri & Crockett, 2024);Bail主张的开源研究基础设施——开放权重的模型、透明的训练语料、共享的评测基准——是把方法命脉握在学术共同体自己手里的正路(Bail, 2024)。
本系列的四篇文章至此合拢。测量在扩张,纪律须重建;执行在让渡,判断须在场;对象可模拟,证实须回到真实世界。三句话没有一句劝人止步——它们是行军的纪律,而非撤退的号令,是对保守者的说服、疑虑者的澄清、质疑者的回答。本轮人工智能技术改变了社会科学的工具箱,尚未改变其立身的根基:对经验证据的忠诚,对因果与意义的分辨,对研究对象作为人的敬重。初心不改,根基不变,正是敢于放手用新工具的底气所在。工具的边界终究由使用者划定,而历史由动手划界的人书写——社会科学此刻需要的,是更多带着纪律进场的挑战者,而非隔岸观火的评论家。
参考文献
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351. https://doi.org/10.1017/pan.2023.2
Bail, C. A. (2024). Can generative AI improve social science? Proceedings of the National Academy of Sciences, 121(21), e2314021121. https://doi.org/10.1073/pnas.2314021121
Bisbee, J., Clinton, J. D., Dorff, C., Kenkel, B., & Larson, J. M. (2024). Synthetic replacements for human survey data? The perils of large language models. Political Analysis, 32(4), 401–416. https://doi.org/10.1017/pan.2024.5
Cummins, J. (2025). The threat of analytic flexibility in using large language models to simulate human data. arXiv. https://doi.org/10.48550/arXiv.2509.13397
Horton, J. J., Filippas, A., & Manning, B. S. (2023). Large language models as simulated economic agents: What can we learn from Homo silicus? NBER Working Paper No. 31122. https://doi.org/10.3386/w31122
Messeri, L., & Crockett, M. J. (2024). Artificial intelligence and illusions of understanding in scientific research. Nature, 627(8002), 49–58. https://doi.org/10.1038/s41586-024-07146-0
Park, J. S., O’Brien, J. C., Cai, C. J., Morris, M. R., Liang, P., & Bernstein, M. S. (2023). Generative agents: Interactive simulacra of human behavior. Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology, 1–22. https://doi.org/10.1145/3586183.3606763
Park, J. S., Zou, C. Q., Kamphorst, J., Egan, N., Shaw, A., Hill, B. M., Cai, C., Morris, M. R., Liang, P., Willer, R., & Bernstein, M. S. (2024). LLM agents grounded in self-reports enable general-purpose simulation of individuals. arXiv. https://doi.org/10.48550/arXiv.2411.10109
Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P., & Hashimoto, T. (2023). Whose opinions do language models reflect? Proceedings of the 40th International Conference on Machine Learning, 202, 29971–30004. https://proceedings.mlr.press/v202/santurkar23a.html
Schelling, T. C. (1971). Dynamic models of segregation. The Journal of Mathematical Sociology, 1(2), 143–186. https://doi.org/10.1080/0022250X.1971.9989794
Veselovsky, V., Ribeiro, M. H., & West, R. (2023). Artificial artificial artificial intelligence: Crowd workers widely use large language models for text production tasks. arXiv. https://doi.org/10.48550/arXiv.2306.07899

留下评论