Let's Make AGI Real

【本系列博文读者对象：对AI感兴趣的哲学社会人文学科的研究人员、相关学科研究生、文科科研管理人员】

第十章：解锁尘封的档案：AI作为解读历史文献的新“罗塞塔石碑”

回答问题：AI如何成为解读与分析大规模历史档案的新工具？ 

历史学是一门建立在档案之上的学科。然而，浩如烟海、字迹模糊、语言晦涩的故纸堆，常常成为阻碍历史学家探索过去的巨大障碍。如今，大语言模型，特别是多模态LLMs，正像一块“新时代的罗塞塔石碑”，为我们破译和理解这些尘封的档案提供了前所未有的强大工具，从而深刻地改变着数字人文（Digital Humanities）和历史研究的面貌。

LLMs对历史研究的第一个革命性贡献在于“手稿转写”（Transcription）。长久以来，将手写历史文献转化为机器可读的文本，是一项极其耗时且需要专业技能的工作。尽管专门的“手写文本识别”（Handwritten Text Recognition, HTR）软件（如Transkribus）已取得一定进展，但它们通常需要针对特定笔迹进行大量训练，且成本不菲。而最新的多模态LLMs，如GPT-4o，能够直接“阅读”手稿图片并进行转写，其表现令人瞩目。一项研究表明，在处理18、19世纪的英文手稿时，LLMs不仅在准确率上显著超越了Transkribus（字符错误率低至1.8%，接近人类水平），而且速度和成本都仅为后者的几十分之一 51。这被誉为档案数字化领域的“分水岭时刻”，它极大地降低了历史学者利用一手档案的门槛。

LLMs的第二个关键作用在于实现大规模文本的“深度分析”（Analysis at Scale）。一旦档案被数字化，LLMs就能以人类无法企及的速度和规模，对其进行多层次的解读。一个名为“历史透镜”（HistoLens）的研究框架，就展示了这种潜力。研究者利用LLM分析中国西汉时期的重要文献《盐铁论》，自动完成了：

• 命名实体识别：批量抽取出文中的人名、地名，并绘制出人物关系网络图和地理空间分布图。
• 主题与情感分析：识别文本中的核心议题、论辩焦点以及不同派别的立场和情感倾向。

通过这种方式，研究者得以快速洞察文本背后的社会网络结构、思想交锋以及当时知识精英的地理和世界观。

LLMs的第三个独特价值在于“浮现隐藏关联”（Surfacing Connections）。当一个LLM在经过筛选的、特定时期的历史数据（例如，仅包含19世纪的文献）上进行训练或查询时，它能像一个“偶然发现引擎”（serendipity engine）一样，揭示出那些被淹没在海量信息中、可能需要历史学家耗费一生才能发现的隐秘联系 17。它成为了历史学家探索计算档案库的“新工具箱”。

这一系列的技术突破已在多个具体的历史研究项目中得到验证：

• 美第奇家族档案：研究者利用LLM对庞大的美第奇家族通信档案的电子目录进行后处理，自动提取出信件中的主题、人物和事件，并创建了一个交互式的可视化检索工具，极大地提升了档案的可用性。
• 希腊法律文书：在对19世纪希腊手写合同的分析中，LLM被用来进行语义分析，自动识别合同类型、当事人及其复杂的家族或租赁关系。
• 口述史料：对于那些记录了历史上被边缘化群体声音的口述史档案，LLM能够进行大规模的语义和情感标注，从而放大这些珍贵的声音。当然，处理这类充满个人情感和创伤记忆的敏感材料，需要研究者进行格外审慎的伦理考量和方法设计。

总而言之，LLMs在历史学中的核心价值，并不仅仅是处理“更多”的数据，而是从根本上改变了历史论证的“尺度”。它完美地结合了“细读”（close reading）与“远读”（distant reading）。一位历史学家现在可以先利用LLM对整个美第奇档案进行“远读”，发现某个年份提及“瘟疫”的信件数量激增这一宏观模式；然后，他可以无缝切换，利用同一工具“放大”到这些具体的信件，进行情感、人物和论点的“细读”。这种在宏观与微观尺度之间自由穿梭、动态生成和检验假设的研究流程，在过去是无法想象的，而它正预示着历史学研究一个新纪元的到来。