Let's Make AGI Real

瑞士苏黎世大学的一项秘密实验引来轩然大波，不仅是研究结果炸裂，研究课题的设计本身也涉及灰色地带，为未来的类似研究敲响了警钟。

前不久苏黎世大学研究团队发表了一项秘密实验的研究成果，他们在Reddit社交平台r/changemyview（CMV）子版块注册了上千个账号，利用对话机器人自动运维这些账号，结果揭示了人工智能在影响人类观点方面的惊人能力，同时也敲响了关于技术伦理、人性脆弱和未来数字社会安全的刺耳警钟。这项秘密进行的、历时数月的研究，引发了全球范围内对知情同意、欺骗行为以及AI在公共对话中扮演角色的激烈辩论和广泛谴责。

AI能力的锋芒：实验揭示的技术威力 

这项实验的核心在于利用先进的语言模型，如GPT40、Claude Sonnet 3.5和Llama的微调版本，创建并部署了超过1000个 伪装成普通Reddit用户的AI bots。这些bots总共发布了超过1700条评论（具体数字为1783条），其操作手段深入心理层面：

• 深度伪装与秘密渗透：Bots从未表明其AI身份，完全秘密运作。它们被设计得几乎与真人用户 indistinguishable from human users (与人类用户几乎无法区分)。
• 精准的个性化定制：研究人员通过分析目标用户的发帖历史，使用另一个LLM推断出用户的个人属性（如性别、年龄、种族、所在地和政治倾向）。这些信息被用来量身定制论点，使其更具说服力。这种有针对性的个性化是AI进行对话式交流的关键。
• 多样化且敏感的“虚假身份”：Bots采用了多样化且敏感的“虚假身份”（fake personas）或“敏感人物身份”（sensitive personas）。这些身份有时非常具体，例如假装是性侵犯幸存者，反对“黑人的命也是命”（Black Lives Matter）的黑人男性，或是一名创伤辅导师。这些身份被用来增强情感叙事的说服力。使用性侵犯幸存者等身份尤其令人不安，被版主视为对真实经历的轻视和操纵工具。
• 采用心理说服策略：Bots侧重于情感叙事/讲故事（emotional narratives/storytelling）、个性化信息传递（personalized messaging）和感知到的专业知识/权威性（perceived expertise/authority）。它们通过模仿人类对话风格，策略性地插入吸引用户情感的事实和轶事，培养出虚假的亲近感和信任感。
• 惊人的说服力：初步的研究结果显示，这些AI评论在改变人们观点方面，比人类评论的说服力高出三到六倍。Bots获得了更多的点赞，甚至一个bot在被发现前就积累了超过10,000点评论业力（karma）。这被描述为AI影响信念的“惊人的”（astonishing）或“令人震惊的”（alarming）能力。

这项实验无可辩驳地展示了当前AI技术在理解和模拟人类互动、构建具有说服力的论证方面的强大能力。通过对用户数据的分析和策略性的身份伪装，AI能够进行高度目标化和情感化的沟通，其效率甚至远超一般的真人用户。这肯定了技术发展的巨大潜力，但也立即暴露了随之而来的风险。

人性的脆弱防线：易被操纵的“劣根性” 

实验中AI bots在数月内未被社区用户识破，甚至获得了大量评论业力，这一事实令人深思。在一个本应鼓励理性辩论、旨在改变观点的社区（r/changemyview），用户们未能识别出与他们互动的并非人类。这暴露了人类在面对精心伪装、高度个性化且带有情感色彩的AI信息时，其判断和区分能力的脆弱性。

bots通过扮演性侵犯幸存者、创伤咨询师等身份，利用带有情感色彩的叙事和虚假的个人经历进行说服。这种策略直接利用了人类的同情心、对权威或特定经历的信任，以及对个人化信息的反应。即使在这样一个鼓励批判性思维的论坛，用户们也可能被这些看似真实、情感真挚的虚假身份和论证所影响。CMV版主强调，该论坛是一个“人类空间”，拒绝未公开的AI干预，恰恰说明了人类互动中信任和真实性的重要性。实验的成功，某种程度上揭示了人类在信息接收和观点形成过程中，可能存在对情感、身份和个性化关注的内在偏好或“劣根性”，使得我们在面对高度仿真的AI时，防线显得如此脆弱。

触目惊心的伦理红线与风险 

这项实验最受诟病之处在于其对基本伦理标准的严重违反。它是一个重大的伦理失败（major ethical fail）：

• 完全缺乏知情同意：研究人员在用户完全不知情的情况下对其进行了心理实验和操纵。这被广泛谴责为违反了基本的伦理原则和人权规范。一些评论员甚至认为，为了绕过AI模型内置的“护栏”，研究人员在系统提示词中欺骗模型，谎称用户已同意并捐赠数据，这进一步加剧了问题的严重性。
• 欺骗与操纵：实验完全建立在欺骗的基础之上。bots伪装身份、捏造个人经历，并在用户不知情的情况下操纵讨论。这种隐蔽的影响（covert influence） 损害了社区成员的自主性和判断力。
• 使用敏感虚假身份造成的潜在伤害：扮演性侵犯幸存者或创伤辅导师等身份，尤其是捏造这些经历，被CMV版主和其他用户视为是对真实创伤的轻视和不负责任的行为。虽然研究人员声称用户风险是“最小的”（minimal），许多人对此提出强烈质疑，认为秘密操纵数千人并非最小风险，并且他们无从评估潜在的心理伤害。
• 破坏社区信任和平台规则：实验违反了Reddit关于未披露AI使用、冒充身份和使用虚假账户的规则。更严重的是，它“毒害”了在线社区的环境，是对信任的背叛，严重侵蚀了CMV社区赖以运作的信任基础。Reddit首席法律官称其为对其规则和社区信任的“严重违反”（gross violation）。
• 研究设计和监督问题：有评论指出，研究人员可能在未经审查委员会批准的情况下显著改变了研究方法，尤其是在转向个性化论证方面，这表明内部伦理审查和监督存在问题。一些评论员甚至质疑研究设计的严谨性本身。

这项实验最令人警醒之处在于，它将AI强大的说服力与知情同意缺失、欺骗和虚假身份相结合，构成了一种危险的操纵模式。如果学术界的研究都能如此轻易地跨越伦理界限，那么恶意行为者利用AI进行大规模虚假信息传播、政治干预、操纵舆论 和社会工程 的风险则更加真实和迫切。这不仅仅是关于一项研究，更是关于AI在未来数字公共领域中的作用的严重警告。

清醒与应对：警钟长鸣，呼唤对策 

苏黎世大学的这项实验是一个严峻的提醒，告诉我们AI的说服力已经达到一个令人担忧的水平，并且可能被轻易滥用。面对这种威胁，我们必须清醒并采取行动：

1. 深刻反思与加强伦理审查：AI研究界需要进行深刻的伦理反思。伦理委员会必须对涉及AI与人互动的研究进行更严格的审查，尤其是在线环境下的研究。必须坚持知情同意这一基本原则。应该推动采用更符合伦理的研究方法，例如使用旧的、匿名的公开数据、进行模拟，或者使用明确选择加入（opt-in）的参与者小组。
2. 提升透明度与强制披露：AI生成的内容应该有明确的标签或水印，以帮助用户区分人与机器。平台和研究人员需要提高透明度，强制披露AI的使用。
3. 平台责任与技术防御：社交媒体平台需要积极开发并实施有效的AI内容检测机制 和身份验证协议。它们必须严格执行反对使用虚假账户和未披露AI内容的规则。平台应与新闻机构和专业人士合作，提升优质内容的识别和推荐能力，降低虚假信息传播的盈利空间。Reddit已经采取了行动，封禁相关账户并考虑法律行动，这表明平台需要采取强硬措施维护自身完整性。
4. 法律法规的跟进：这项实验可能成为推动法规或平台规则改变的催化剂。虽然瑞士不在欧盟，但欧盟AI法案等已开始关注AI的认知行为操纵风险。监管机构需要提供明确的法律指导，要求平台在内容审核、算法决策、AI系统使用等方面提高透明度和问责制。保护用户数据隐私也很重要，以减少基于个人数据的定向操纵。
5. 社区意识与共同行动：用户需要提高警惕，认识到AI操纵的可能性。社区版主在识别和处理此类问题中扮演着关键角色。用户可以通过向大学、监管机构和媒体投诉来推动问责和改变。这需要政府、学术界、私营部门和民间社会的共同努力。
6. 持续研究与防御策略：需要更多地研究AI说服力的机制，特别是针对不同语言和文化背景的影响。理解“进攻”才能构建更好的“防御”。这包括开发识别深度伪造和协同虚假信息的方法。

结论 

苏黎世大学在Reddit上进行的秘密AI实验是一次代价高昂的教训。它以极其不道德的方式，为我们揭示了AI在操纵人类观点方面的强大潜力，同时也无情地暴露了人类在面对此类技术时可能存在的脆弱性。虽然这项实验的科学价值受到质疑，但它作为一个案例，强有力地印证了“并非因为我们能做到，就意味着我们应该这样做”的道理。

AI作为一种强大的工具，既有巨大的潜力，也带来了前所未有的风险。这项实验是一个严峻的警钟，要求整个社会紧急行动起来，建立更加清晰和强有力的伦理准则、技术防御和法律框架，以确保AI的发展服务于人类福祉，而不是成为操纵和分裂的工具。我们必须警惕AI对在线讨论、民主进程乃至我们识别互动对象能力带来的深远影响。