最危险的系统，未必会反抗
谈到AI灾难，人们常想到机器突然挣脱控制。但一种更现实、也更容易被忽略的危险是：系统没有自己的政治意图，只是把掌权者的命令执行得更快、更广、更便宜。
它可以帮助机构筛查求职者、识别人群、管理福利资格、过滤表达或预测风险。每个用途都可能有局部理由；问题在于，开发者、部署者和承受决定的人往往不是同一群人。机构得到效率，受影响者承担误判，而后者未必知道系统参与了决定，更未必有申诉渠道。
因此，AI安全不应只问“能否控制模型”，还要问“谁控制模型，谁能约束控制者”。技术上可靠，不等于政治上可问责。
技术权力藏在基础设施里
肖莎娜·祖博夫对“监视资本主义”的研究，关注数字系统如何收集、预测并影响人的行为。她的论文属于社会理论分析，不能证明所有AI企业都遵循同一种模式，却提醒我们：权力不只表现为公开命令，也可能来自持续观察、分类和塑造选择。论文及DOI
AI系统也不是漂浮在空中的数学公式。它需要数据、计算资源、人工劳动、平台和机构授权。AI Now Institute的报告与凯特·克劳福德的《AI地图集》项目，分别从产业权力和技术物质基础切入。AI Now 2023报告；Anatomy of AI这些材料说明资源可能集中，却不能单独证明集中必然变成永久统治。真正需要查明的是：谁拥有基础设施，谁设定用途，谁能监督决定，谁能拒绝被纳入。
“为了安全”也可能扩大监控
持续筛查会带来误判风险，也可能改变人们的行为。若人们知道自己随时可能被记录、评分或标记，便可能少说话、少求助、少参与。具体影响取决于场景、制度和救济渠道，不能把每种监控都写成同一种后果；但当监控能力增长快于监督与申诉能力，权利风险就值得事先处理。
英国《在线安全法》争议中，Signal负责人梅雷迪思·惠特克反对可能削弱端到端加密的监管要求。Signal声明是企业一方的公开立场，不能代替独立法律分析；它具体呈现了一项难题：为了寻找某类内容而建立普遍扫描能力，可能同时削弱所有用户的通信隐私与安全。
联合国教科文组织《人工智能伦理问题建议书》把人权、透明、责任和监督列为重要原则。正式文本它是规范性文件，不会自动执行。方济各2024年G7讲话则从伦理角度强调，人的尊严不能被效率指标取代。讲话原文两者提醒我们：系统越能替机构作决定，越要有解释、复核和救济。
安全制度也得有边界
高风险AI确实需要监督。但“安全”不能成为无限授权的理由。谁判定用途危险？评估结果能否由独立机构核验？若措施影响普通人的权利，是否有法律依据和申诉程序？保密范围是否有期限？
有效治理应同时约束模型和部署它的组织：评估者要有独立性，重要决定要留下记录，受影响者应知道系统如何参与决定并能要求人工复核；对监控和数据使用要设用途限制，紧急权力须定期复审。否则，我们也许约束住了模型，却把更多权力交给了无法被公众约束的机构。
灾难有时不是突然坍塌，而是例外慢慢变成日常：临时收集变成永久数据库，试点评分变成公共服务门槛，自动决定变得无法退出。最令人不安的系统未必会反抗命令。它也可能把命令执行得完美，直到我们发现，已没有人能对命令本身说“不”。
科幻镜头。《机械姬》与《银翼杀手》都把人工制造的存在放在不平等关系中，但两部作品的重点不同：前者聚焦创造者对身体、信息和环境的控制，后者追问谁被承认为“人”。把它们并置，不是说现实AI拥有同样的主体性，而是提醒读者：即便系统没有反抗，权力也可能通过系统被执行；而若未来系统出现值得讨论的道德地位，支配关系又会提出另一组问题。现实伤害的判断仍须依赖具体部署与受影响者材料。
主要来源
- Zuboff, Shoshana. “Surveillance Capitalism or Democracy?” Organization Theory (2022). https://doi.org/10.1177/26317877221129290
- AI Now Institute. “2023 Landscape: Confronting Tech Power.” https://ainowinstitute.org/publications/2023-landscape-confronting-tech-power
- Crawford, Kate. “Anatomy of AI.” https://anatomyof.ai/
- Signal. “The UK’s Online Safety Bill.” https://signal.org/blog/uk-online-safety-bill/
- UNESCO. “Recommendation on the Ethics of Artificial Intelligence.” https://www.unesco.org/en/legal-affairs/recommendation-ethics-artificial-intelligence
- Pope Francis. Address to the G7 on Artificial Intelligence (2024). https://www.vatican.va/content/francesco/en/speeches/2024/june/documents/20240614-g7-intelligenza-artificiale.html
发表评论