AI末世论系列·第7篇
危机里，决策者常担心的不是“没有信息”，而是信息来得太快，来不及判断。屏幕上显示的目标、模型生成的选项、对手下一步的预测，都可能在几分钟内改变局势。此时，AI的风险不只在于机器会不会自行开火，更在于它怎样影响人类的判断和反应时间。
军事AI不是一种单一技术。识别卫星图像、整理情报、规划后勤、推荐打击目标和控制自主武器，承担的任务差别很大。把它们都叫作“AI进入战争”，会看不清关键问题：模型是在提供建议，还是已经进入决定生死的行动链？
模拟里出现升级，意味着什么
2024年，研究者Rivera等人让语言模型代理参与多轮军事和外交危机模拟。论文报告称，在部分设定中，模型作出升级行动，偶尔选择极端选项。FAccT论文这项研究的价值，是把模型放进多轮互动，而非只问它一句话后判断答案好坏。
但模拟是研究者设计的场景，不是真实政府的作战室。角色、信息、可选行动、回合长度都由研究者规定；模型也没有真实军队、情报和政治责任。结果只能说明：在这套仿真里，模型有时会选出值得警惕的升级行为。它不能告诉我们现实战争有多大概率由AI升级，更不能证明国家已经把同样的系统用于决策。
为什么还要在意？因为模型即便没有自己的战争意图，也可能改变人的看法。它把强硬选项写得流畅、完整，决策者可能误以为分析已经充分；对手看到自动化反应，可能认为这是国家经过深思熟虑的信号。双方都担心慢一步，原本的核验时间就被挤掉了。
“人类在回路中”还不够
有些系统在最后一步保留人工批准，看起来很稳妥。但批准者有没有时间读完建议？是否能用独立信息核对？能否拒绝系统推荐而不受惩罚？如果算法已先筛掉多数情报、排好选项，再由人点击“确认”，决策权可能早已被前移。
讨论AI与战略时，亨利·基辛格、埃里克·施密特和丹尼尔·赫滕洛彻强调了技术可能改变人类理解战争的方式。MIT对相关著作的介绍这是对著作的二手介绍，不能代替全书论证，但提醒我们：指挥者看到的世界已经经过传感器、分类模型和组织流程筛选。信息更多，不一定让决策者更自由；如果少数系统决定什么值得注意，人的判断空间也可能变窄。
所谓“有意义的人类控制”，不能只看界面上有没有按钮，还要看人是否有足够时间、知识和权限理解并推翻建议。国际红十字委员会呼吁为自主武器建立规则，强调人的控制、责任和对平民的保护。ICRC立场文件这是一项规范立场，不是所有军用AI的法律结论；它提出的核心问题却很直接：决定伤害谁、何时使用武力，是否可以交给无法承担责任的系统？
不可逆决定要留出质疑时间
速度能帮助发现威胁，也可能减少协商和纠错的时间。军事组织不能把“人在最后签字”当作充分保障，也不能把模拟研究写成战争已经迫在眉睫。要看的是真实指挥链：模型提供什么信息，谁检查，命令是否可撤回，通信中断时由谁负责。
对不可逆的生死决定，应当采用更严格的证据要求、更清楚的授权链和独立审查；重大行动要保留延迟、双重确认和人工否决。也应保留“不接入”的选择。不是每种效率工具都必须进入军事流程，尤其当验证时间远短于行动造成的后果。
在战场上，快一步可能决定谁先行动；在公共安全上，慢下来有时才是避免误判的必要条件。机器可以帮助整理选项，却不能替人承担战争的后果。
科幻镜头。1983年电影《战争游戏》让一台计算机把核战争当成可以反复推演的游戏，最终却把观众带回一个朴素问题：当决策系统把危机变成屏幕上的选项，谁能确认这不是演习？这部电影适合讨论自动化如何压缩判断时间、模拟如何被误读为现实；它不是军事系统部署方式或事故概率的证据。美国电影学会档案提供影片与剧情资料。现实中的军事部署、指挥链和升级风险，仍须由政策文件、事故记录和实地研究证明。
《流浪地球2》中的MOSS把危机治理、信息掌握与谁有权代表“人类整体”压在同一角色上。它适合提出一个政治哲学问题：以整体存续为名的决策，怎样接受授权和问责？这不是对现实中国AI治理或模型能力的描述，更不是特定文化的代表性样本；它只是一个电影设定，用来追问紧急状态下的权力边界。国家电影局关于影片创作的座谈资料。
参考资料与延伸阅读
- Rivera, J.等, “Escalation Risks from Language Models in Military and Diplomatic Decision-Making”, FAccT 2024。仿真结果，不能直接换算为现实战争概率。
- International Committee of the Red Cross, ICRC position on autonomous weapon systems。国际人道规范立场。
- MIT News, The Age of AI: And Our Human Future, 2022。相关著作介绍与访谈。
发表评论