有些错误，等不到下一次更新
软件公司习惯快速迭代：先上线，再根据反馈修正。界面不方便，可以改版；推荐系统出错，可以调整参数。但若系统进入关键基础设施、军事决策或生物安全流程，若社会已离不开少数不可替代的模型，“下一次更新”未必来得及。
所以，AI风险治理不只要问模型今天能做什么，还要问社会是否仍能发现错误、限制扩散、追究责任并恢复替代方案。纠错能力不是抽象口号，它依赖具体条件：事故能被看见，受影响者能申诉，系统能回退，组织保留人工和非自动化流程。
试错的前提，是能够撤回
试错适用于损害局部、可发现、可补偿、可逆的场景。若模型影响招聘、信贷、医疗或公共服务，单看准确率不够：当事人能否知道自动化参与了决定？能否要求人类复核？机构是否仍有能力离开系统？如果只有供应商能解释模型、只有模型能完成工作，“人类在环”就可能只是一个点确认按钮。
事前举证并不是要求证明绝对安全。复杂技术不可能承诺零风险。更合乎比例的要求是：风险越严重、越广泛、越难逆转，部署者越要说明测试覆盖了什么、哪些情境尚未测试、限制措施如何工作、谁有权暂停，以及出事后如何恢复。
OpenAI于2026年发布的前沿训练安全案例指南，尝试把训练决策所依据的安全论证和证据组织起来。指南明确说明其范围有限，属于企业提出的方法，不是安全结果的证明。指南原文一份安全案例写得完整，仍需要独立检查：测试是否覆盖实际部署？例外由谁批准？风险阈值是否能触发停止？
停止权要经得住利益冲突
政策写着“可以停止”，不代表组织会在关键时刻真的停。若暂停意味着失去投资、客户、市场或国家安全优势，负责安全的人很可能处于弱势。有效的停止机制应有明确触发条件、独立判断渠道、受保护的报告程序和恢复部署的标准。
停止高风险训练或发布，不等于停止所有AI研究。不同模型、能力和用途需要不同门槛；治理应当针对高后果扩展，而不是把“AI”当成单一对象。相反，模糊的安全名义也不应成为无限限制知识与表达的借口。
联合国教科文组织伦理建议与联合国AI高级别咨询机构报告，都强调人权、问责、透明和国际合作。UNESCO文本；联合国报告它们没有自动赋予机构调查权，也未证明各国已建立统一停止机制。原则能否变成保护，取决于法律、预算、审查程序和公众参与。
预防制度本身也要受约束
监管者并非天然代表公共利益。国家可能借安全扩大秘密监控，企业可能借安全阻止竞争，机构也可能以保密为由排除公众。风险治理需要边界：必要保密之外允许独立审查，高影响决定有法律依据和申诉渠道，限制措施定期复核，受影响国家与群体能够参与。
社会不必假装能够保证控制所有未来系统。更诚实的任务，是识别哪些决定会关上纠错窗口：能力扩散太快，监督资源不足，替代方案消失，停止决定受到竞争惩罚，受影响者无从发声。越接近这些条件，越应在部署前要求更强证据、限制权限并保留独立叫停的能力。
风险不能精确量化，不代表任何行动都一样合理。局部、可逆、低影响的用途可以容许更多试验；可能造成大规模、跨代际且难以补偿损害的系统，则应由推动扩展的一方承担更重的举证责任。
真正危险的时刻，也许不是机器第一次犯错，而是人们发现错误已经难以挽回，却仍把“下一次更新”当成唯一答案。在失去纠错能力之前，我们仍可以争论哪些能力值得建设、谁来承担风险，以及谁有权让系统停下。
科幻镜头。雪莱《弗兰肯斯坦》与特德·姜《软件体的生命周期》隔着两个世纪，却都让“创造”无法成为责任的终点：一个追问创造者逃离之后留下什么，另一个追问照护关系如何被平台经营和退出机制塑造。二者并不提供现实治理方案，却把预防责任的时间维度写得具体：如果等到受影响者已经无法退出、恢复或发声，补救还剩下多少？《弗兰肯斯坦》1818年文本；《软件体的生命周期》出版页。
主要来源
- OpenAI. “Towards Safety Cases for Frontier AI Training” (2026-09-28). https://openai.com/index/towards-safety-cases-for-frontier-ai-training/
- UNESCO. Recommendation on the Ethics of Artificial Intelligence (2021). https://www.unesco.org/en/legal-affairs/recommendation-ethics-artificial-intelligence
- UN High-level Advisory Body on AI. Governing AI for Humanity (2024). https://www.un.org/en/ai-advisory-body
- Future of Life Institute. “Pause Giant AI Experiments.” https://futureoflife.org/open-letter/pause-giant-ai-experiments/
- Ord, Toby. “The Precipice Revisited.” https://www.tobyord.com/writing/the-precipice-revisited
发表评论