一万份回答,零个受访者

生成装置输出大量问卷和纸质人形,旁边的访谈椅却空着,寓意生成回答数量不能替代真实受访者。

增加模型回答,不等于增加人类样本。生成规模不能弥补观察的缺席。模拟可以支持研究准备,其社会科学效力必须经过独立验证。

候选与发现需要区分,生成材料与经验观察更不能混同。AI生成的回答确实是数据,但它首先记录的是特定系统在特定条件下的表现。

输出分布不自动代表人口分布

模型依据提示中的身份信息与训练所得的关联生成回答。改变年龄、职业或收入描述,可以改变输出,却不会自动补入一个人的经历与处境。

真实调查的推断则依赖对象、抽样、招募和测量。没有相应联系,模拟身份的丰富程度不能替代总体代表性。

重复生成可以更稳定地估计给定系统的输出分布,但这种稳定性不等于模型与真实人群之间的差距已经消失。模型误差与生成过程中的随机波动,是不同问题。

回答的数量,是生成指标;关于人的证据,需要另外成立。

相似结果仍须检查结构

Bisbee等人2024年的研究发现,模拟回答与真实调查的某些平均值接近,但变异和回归关系可能不同,提示细节与运行时间也会影响分布。论文

因此,均值接近不足以支持全面替代。社会科学还关心群体差异、变量关系及其形成条件。某个统计量一致,不保证其他推断成立。

以真实资料建立个体模拟,是另一条研究路线。Park等人的2026年第三版预印本,使用1,052名美国参与者的访谈与自我报告检验预测。预印本 这种资料基础增加了校准条件,但对特定回答的预测,仍不能扩展为对整个人的准确模拟。

模拟的研究价值,恰恰依赖于它与外部观察之间清楚、可检验的联系。

预试与预测可以先行

AI能够协助检查题意歧义、遗漏选项与材料差异,再由真实参与者进行认知访谈或试答。这利用语言比较能力,不要求模型已经代表某一群体。

2026年发表于《Nature》的研究,以70项美国预注册调查实验检验模型预测,发现预测与实测效果相关,同时存在系统偏差,在更复杂研究中的表现也有变化。论文

这为候选干预筛选与实验准备提供了具体依据。研究者可以预先保存预测,再与真实实验比较,逐步确定哪些任务有效。美国调查实验中的表现,不能直接推广到其他人群与长期行为。

模型生成还容易保留一项设计的既有框架。真实参与者的拒答、误解与异议,则可能暴露问题本身的缺陷。模拟不能预先决定哪些经验值得进入研究。

规范判断还有另一层门槛

预测一种制度更易被接受,与说明它正当,依然需要不同论证。真实态度也不能直接完成规范证成,模拟态度更不能省去这一层。

因此,研究报告需要清楚标明观察、生成与推断的来源。工具支持了哪一步,何种判断仍依赖外部资料,都应能够回查。

模拟的力量来自可检验的联系,不能来自对真实观察的冒充。 这一边界确定以后,AI才能在研究中获得准确的位置。

参考资料与延伸阅读:

  • James Bisbee等:《Synthetic Replacements for Human Survey Data?》,《Political Analysis》,2024。论文
  • Joon Sung Park等:《LLM Agents Grounded in Self-Reports Enable General-Purpose Simulation of Individuals》,2026,v3,预印本。论文
  • Ashokkumar等:《Large language models can predict the results of social science experiments》,《Nature》,2026。论文;出版机构摘要


发表评论