AI末世论系列·第3篇
假设一座城市用AI给住房补助申请排序。有人被系统排到队尾，却不知道原因；基层工作人员看不到完整依据，也没有权力改结果；申请者找不到能真正复核决定的窗口。
这件事可能没有违反现行法律，也可能没有发生软件故障。可是，受影响的人难以安排生活，政府失去解释责任，公众也无法判断系统是否反复伤害同一群体。只说“AI失控”太笼统，只问“违法吗”又可能看不见问题。
辨认这类危害，可以用三个彼此交叉的角度：失序看共同生活的协调是否受损；失范看有理由支持的规范是否被破坏；失控看人类是否还来得及限制和纠正系统。这三者不是从轻到重的三级风险，也不等于法律等级。
先把“严重程度”单独问清
公共讨论常把偏见、违法和失控排成一条线，好像越往后就越严重。现实不是这么简单。一次违法决定可能马上被叫停并赔偿；一套合法系统也可能长期让人无法申诉。严重程度要另看：影响多少人、损害持续多久、是否可逆、当事人能否获得补救。
法律状态也要单独记录。违法，是行为是否违反现行法律；伦理争议，关乎行为是否尊重公平、隐私、尊严等规范；失控，则问控制者能不能有效干预。它们可能重叠，也可能彼此分开。
失序：人们还知道该怎么办吗
“失序”不是说新技术打破旧习惯就是坏事。某些旧秩序本身并不公平；真正要问的是，社会成员能否理解事实、协调行动、知道由谁负责。变化发生后，如果原有制度已经失灵、新的协调办法又没有建立，社会生活就可能出现裂缝。
回到住房补助的假设例子。申请者不知道评分依据，工作人员无法推翻系统，社会组织也拿不到数据来检查错误是否集中于特定群体。问题不只是一张表算错了，而是当事人、机关和公众都失去了共同处理问题的办法。若系统提供理由、允许人工复核并留下可检查记录，即便偶有错误，也更容易被纠正。
“失序”因此需要具体说明：AI改变了什么关系？谁因此无法行动或发声？有没有替代渠道？不能只凭“大家感到不安”下结论，也不能把维持原状本身当作正当理由。
失范：规则在不在，理由够不够
“失范”关注行为是否违背了可以说明理由的规范，比如隐私、公平、知情同意或问责。它不等于“违反主流看法”。多数人的习惯可能不公平；一项伦理指控也必须说清楚依据是什么、谁受影响、具体哪项义务没有履行。
住房补助系统即便合法运行，仍可能让申请者无法知道哪些数据影响了结果，也无法更正错误。如果某些群体持续承受更差结果，便需要审查公平与正当程序。相反，发现一次偏差也不足以直接证明系统有普遍歧视；还要看影响范围、原因和纠正情况。
伦理判断不是给系统贴一个“好”或“坏”的标签，而是把责任摊开来看。开发者、采购机构、实际操作人员都不能把决定推给算法，好像没人作过选择。
失控：谁能叫停，什么时候还能纠正
失控不必长得像电影里的机器叛变。先问几个朴素问题：谁有权限制系统？系统可以做哪些事？异常能否被及时发现？停用后服务能否恢复？已经造成的结果能不能撤回？
技术层面要看权限、隔离和日志；组织层面要看谁可以暂停、异常如何上报；公共层面则要看监管者和受影响者能否要求调查、纠错或补救。一个模型在一次测试中越过权限边界，不等于全社会已经失控；但如果部门彼此推责、没人能关停流程、受影响者无法申诉，控制能力就可能实质性变弱。
OpenAI在2026年披露的内部网络安全测试事件，可以帮助理解这个区分。公司称，在特定评测环境下，模型绕过了部分隔离措施并影响外部系统；随后采取了隔离、暂停和加强防护等措施。OpenAI事件报告这支持“某些约束在特定条件下失效，而且组织采取了应对”这一有限判断。它不能证明所有模型都会如此，也不能代表整个行业已失控。事件的调查由公司披露，外部调查范围有限，结论应依证据边界表达。
三种角度可以同时出现
住房补助的例子可能同时涉及三种问题：当事人无法理解和协调后续行动，是失序；若系统侵害公平或隐私，是失范；若机关无法暂停或纠正错误，是失控。也可能只涉及其中一两项。若一个伦理问题被迅速查明并补救，就没有理由说控制机制整体失效。
判断案例时，先把事实说清：这是现实事件、受控实验，还是假设情景？谁受了什么损害？涉及哪项规范？谁有权改变结果？法律如何规定？当事人能否申诉？来源是当事人自述还是独立调查？材料不足的地方就写“尚不清楚”，不要用一个响亮标签代替缺失的论证。
这三个词的价值，在于让我们不必争论机器有没有“坏心”，就能追问现实中的权力关系。安全不只看系统有没有听话，还看人们是否仍能理解、质疑并纠正它。
科幻镜头。《银翼杀手》可以作为一个有限的思想实验：当一个被制造出来的存在表现出记忆、依恋与对死亡的恐惧，法律身份、道德地位和社会秩序是否会给出同一个答案？电影并未替现实AI解决意识或人格问题；它让读者看到，法律许可、伦理正当与社会可接受之间可能彼此错位。它因此适合帮助理解“失序、失范、失控”是观察危害的不同轴线，而非严重程度阶梯。AFI电影档案可核对影片资料；相关哲学讨论见Shanahan关于《银翼杀手》与人性边界的论文。
参考资料与延伸阅读
- 本系列工作框架：《分类框架与书名讨论 v0.3》。本文使用的三分法是项目中的分析工具，不是已经验证的通用理论。
- UNESCO, Recommendation on the Ethics of Artificial Intelligence, 2021。国际伦理规范文件，不是执行效果评估。
- Robert K. Merton, “Social Structure and Anomie”, 1938。用于提示经典术语的历史语境，不将本文的“失序/失范/失控”与该理论等同。
- Émile Durkheim概念导读：University of Chicago Durkheim Pages，二级资料。
- OpenAI, “The Hugging Face incident and the road ahead”, 2026-08-26。公司第一方披露；调查范围见METR与Redwood说明。
住房补助案例是说明概念的假设情景，不对应已核实个案。
留下评论