一个数字，先要说清楚它在数什么
有人问AI会不会导致人类灭绝，专家给出百分比。数字看起来精确，真正决定意义的却是数字背后的问题：预测的是灭绝、文明崩溃，还是严重但可恢复的损害？时间范围是十年还是本世纪？估计来自调查、模型还是个人判断？如果这些都没说清，百分比只是精确的外衣。
Katja Grace等人对AI研究者开展的调查，收集了受访者对未来AI能力和影响的判断。论文它能展示专家意见的范围与分歧，却不是经过重复实验验证的灾难频率。调查反映的是在特定问题和时间点上的判断，不是未来已经发生过多少次灾难。
调查、预测比赛和实验，不是一回事
专家调查询问受访者相信什么；预测比赛观察参与者对具体事件作出的预测，比较其校准程度；实验则在受控环境中测试某种能力或行为。三者提供不同证据，不能互相替代。
例如，模型在实验中表现出某种能力，说明能力在特定设置下出现，不等于现实中必然造成灾难；专家认为某种灾难有一定概率，也不能证明该机制已经发生。反过来，缺少历史先例也不能直接把风险记为零，尤其是技术变化快、后果难以复原的领域。
预测模型依赖假设。Ajeya Cotra的“生物锚点”方法尝试把AI训练所需计算与生物大脑相关尺度联系起来，以此推估可能时间。原文与更新这是一种结构化预测方法，不是日历。结论会随训练效率、算法进步、数据和经济条件等假设改变。
不确定，既不能夸大，也不能当作零
AI研究者之间存在明显分歧。Yann LeCun等人强调现有系统距离人类层面的理解和自主能力仍有差距；Melanie Mitchell与David Krakauer讨论了语言模型理解能力的边界。TIME访谈；PNAS论文这些批评值得认真对待，但它们也不能替代对具体高后果能力的测试。判断应落在证据与场景，而不是名人阵营。
NIST AI风险管理框架适用于识别和管理具体系统风险，不是对极端灾难概率的估算器。NIST框架对于灾难讨论，至少要拆开三问：某种能力是否出现；组织是否会给它足够权限；相关条件是否会组合成大规模伤害。每一步都需要材料，不能用能力展示直接跳到末日结论，也不能用某一步尚未证实就宣布整条路径不可能。
风险判断还要看损失是否对称。可逆、局部的错误可以通过试验学习；大规模且不可逆的后果，则很难等到足够多的“历史样本”再行动。预防不等于断言灾难必然发生，而是承认错误代价不同，证据门槛也应随之变化。
让概率附带条件
可信的风险估计，应说明事件定义、时间范围、估计者群体、关键假设和不确定区间；还应交代什么新证据会让估计上调或下调。这样既能防止极端数字沦为动员口号，也能防止“我们不知道”被当成继续扩张的许可证。
概率不是命运判决书，而是带着假设的判断工具。它提醒我们哪些情景值得留意，却不能单独决定政策。机制证据、潜在损失、系统暴露程度和社会的纠错能力，都应一起进入讨论。
真正诚实的风险分析，既要敢于说“证据不足以证明”，也要敢于说“后果严重到不能把未知当作安全”。两句话之间的张力，不是分析的失败，恰恰是预防必须面对的现实。
主要来源
- Grace, Katja et al. “Thousands of AI Authors on the Future of AI.” https://arxiv.org/abs/2401.02843
- Cotra, Ajeya. “Forecasting Transformative AI with Biological Anchors.” https://www.alignmentforum.org/posts/HBxe6wdjxK239zajf/forecasting-transformative-ai-with-biological-anchors
- TIME. Interview with Yann LeCun (2024). https://time.com/6694432/yann-lecun-meta-ai-interview/
- Mitchell, Melanie and David Krakauer. “The debate over understanding in AI’s large language models.” PNAS (2023). https://www.pnas.org/doi/10.1073/pnas.2215907120
- NIST. AI Risk Management Framework. https://www.nist.gov/itl/ai-risk-management-framework
发表评论