“末世论”不是说灾难已经注定
把AI风险称为“末世论”，很容易让人误以为研究者在宣讲宗教预言，或断言人类必将毁灭。这里更适合把它当作一种叙事结构来分析：人们如何描绘一个重大转折、如何设想秩序崩塌，又如何寻找拯救、控制或重生的道路。
这种叙事并不证明风险是假的。核战争、气候变化和流行病都曾被放进末日想象，却仍需要凭具体证据分析。反过来，风险研究也不能因为后果严重就免于审查：情景是否讲清机制？预测依据是什么？哪些条件尚未满足？
两种未来想象都在争夺注意力
一类叙事强调技术突破将带来丰裕、长寿和超越人类限制；另一类警告，强大系统可能脱离监督，甚至摧毁社会赖以生存的秩序。二者都把AI放进宏大的未来故事里：一个讲解放，一个讲失控。
前者可能低估权力与分配问题，仿佛创新成果自然惠及所有人；后者可能把复杂因果压缩成机器反叛的戏剧场景。好的分析不该选择更响亮的故事，而要把故事拆成可检验的环节：能力、权限、激励、部署、监督和纠错分别发生了什么。
“TESCREAL”是Timnit Gebru与Émile P. Torres提出的批判性概念，用来分析一组彼此交叠的技术进步主义、长期主义和未来主义思想。论文原文它帮助研究者追问：哪些未来被想象，哪些人被纳入，哪些价值被当成普遍目标？但这一概念属于意识形态与文化分析，不能替代对模型能力、事故机制或灾难概率的经验研究；使用它也不应把持有不同观点的人一概归为同一阵营。
预言、风险模型与政治行动
灾难警告往往同时包含三个层次：对未来的描述、对风险机制的推断、要求现在采取行动的政治主张。三者可以彼此关联，却不能互相证明。一封暂停倡议可以说明签署者希望改变研发节奏，不能单凭签名数证明某种灾难概率；一份技术风险论文可以提出可能机制，也不自动决定政策应该如何分配成本。
区分这些层次，不是削弱预防，而是让预防更可信。主张强限制的人应说明依据、适用范围和复审条件；主张继续扩展的人也应说明风险由谁承担、为什么能够接受。若只要求风险警告者证明未来，乐观者却无需证明安全，公共讨论就失去对称性。
文化分析能提醒什么
人类反复讲述创造物反噬创造者的故事，从魔法扫帚到弗兰肯斯坦，表达的往往是对权力失衡、责任逃逸和越界创造的忧虑。AI叙事延续了这些古老主题，但不能仅因故事熟悉就认为现实风险只是神话；也不能因为故事动人就把它当成证据。
文化分析最有用的地方，是让我们看见风险讨论中的价值选择：什么算进步，谁代表人类，谁能决定可接受的代价，未来世代是否有声音。它不能替代工程测试和社会科学调查，却能揭示技术目标背后常被隐藏的规范假设。
AI末世论既可能制造恐慌，也可能为尚未发生的伤害争取注意。判断它是否有根据，最终仍要回到机制和材料。故事可以把问题带到眼前，证据才决定我们该如何行动。
科幻镜头。科幻不是风险预测表，却是社会练习未来的场所。《弗兰肯斯坦》把创造与照料分开，《R.U.R.》把机器劳动放进所有权与阶级关系，《银翼杀手》追问人格边界，《黑客帝国》追问共同现实，《星际迷航》则提供丰裕想象。它们反复排列几种角色：制造者、被制造者、受益者、牺牲者与拯救者。比较这些叙事，可以分析现代社会如何想象技术权力；不能据此判定现实中哪种灾难路径更可能。
主要来源
- Gebru, Timnit and Émile P. Torres. “The TESCREAL bundle: Eugenics and the promise of utopia through artificial general intelligence.” First Monday. https://firstmonday.org/ojs/index.php/fm/article/view/13636
- Future of Life Institute. “Pause Giant AI Experiments” open letter. https://futureoflife.org/open-letter/pause-giant-ai-experiments/
- Amodei, Dario. “Machines of Loving Grace.” https://www.darioamodei.com/essay/machines-of-loving-grace
- Ord, Toby. The Precipice: Existential Risk and the Future of Humanity. 2020.
- Kurzweil, Ray. The Singularity Is Nearer. 2024.
发表评论