从Minecraft到煤矿——当AI成为自己的污染源

7,600元买来的”游戏攻略”

2025年5月14日凌晨4点，一个眼尖的网友在浏览上海观知海内咨询公司的网站时，发现了一个令人啼笑皆非的细节。

这家公司出售的《2023-2028年中国煤炭行业竞争格局及发展趋势预测报告》，标价7,600元人民币（约1,050美元），号称是专业的行业分析文档。但在报告的”煤炭定义”部分，赫然写着：

“煤炭（Coal）出自《Minecraft》，是可再生资源，收获来自煤矿石以及击杀凋灵骷髅获得1-3个，可以使用任何镐来挖取煤矿石。主要用途是作为燃料或制造火把，有些村民可以以15个煤炭交换一个绿宝石。” 

是的，你没看错。一份价值近万元的专业行业报告，把Minecraft游戏攻略当成了煤炭的正式定义。

这不是恶作剧，不是黑客入侵，也不是员工的恶意破坏。根据Internet Archive的Wayback Machine存档记录，这段文字确实在5月14日凌晨4点时出现在网站上，然后在早上7点被火速删除。腾讯、网易、搜狐等多家媒体都进行了报道，该公司客服也确认了这一”事故”。

公司的解释是”网站BUG”，强调实际PDF文档中没有这段内容，并称报告早在2022年9月（ChatGPT发布前）就已上传。

但这个解释漏洞百出：

• 如果是网站BUG，为什么只有煤炭定义出错？
• 如果真是2022年的报告，为什么会包含明显的AI内容聚合错误？
• 为什么凌晨4点上线，早上7点删除？这个时间点非常可疑——正好在大多数员工上班前。

最可能的真相是：AI驱动的内容聚合系统在搜索”煤炭”定义时，从互联网（很可能是百度百科或类似平台）抓取了混合内容，其中包括了游戏条目，而系统没有能力区分现实世界的煤炭和虚拟游戏中的煤炭。 

这个案例听起来是闹剧，但它揭示的问题却致命严重。

这就是中国古代成语”指鹿为马”的AI版本——不是因为有人想故意欺骗，而是因为AI本身就分不清鹿和马，分不清游戏和现实，分不清煤炭和Coal。 

讽刺的讽刺：虚假信息鉴别专家产生虚假信息

如果说煤炭报告案例是黑色幽默，那么接下来这个案例就是更深层次的讽刺了。

2024年12月，斯坦福大学教授Jeff Hancock——一位研究虚假信息和AI欺骗的专家——在明尼苏达州关于AI监管法案的专家证词中，引用了多篇学术论文来支持自己的论点。

问题是：这些论文有多篇是AI幻觉出来的，根本不存在。 

更讽刺的是，Hancock教授自己承认，他使用ChatGPT-4o来起草证词的部分内容，而AI”生成了几篇不存在的引用”。一位研究虚假信息的专家，在正式的法律证词中，产生了虚假信息。

而且，他收费600美元/小时。

这不是对Hancock教授个人的批评——恰恰相反，他的诚实承认反而值得尊重。这个案例的价值在于揭示了一个结构性问题：即使是该领域的顶级专家，也会在使用AI工具时失去警惕，让错误内容流入正式文档。 

用中国的话说，这叫”以AI传AI“——AI生成内容，人类传播，其他AI学习，形成恶性循环。这不是简单的错误传播，这是系统性的信息污染。

而最黑色幽默的部分是：这场听证会的主题，恰恰是”如何防止AI产生虚假信息”。 

Google的”微型蜜蜂”：当RAG系统失败

2025年2月，又一个经典案例诞生。

有用户向Google AI搜索询问：”蜜蜂有多小？”

Google AI自信满满地回答：”最小的蜜蜂只有几微米大小，肉眼几乎看不见。”

事实呢？最小的蜜蜂（失落蜜蜂，Perdita minima）大约2毫米长——虽然小，但远不是”微米级”。

问题出在哪？调查发现，AI抓取了一篇愚人节讽刺文章，文中开玩笑说发现了”微型蜜蜂”，但AI的RAG（检索增强生成）系统没有能力识别讽刺和玩笑，将其作为事实呈现给用户。

这暴露了AI系统的一个根本性缺陷：它不理解语境、语气、反讽、幽默。它只是在海量数据中寻找模式匹配，然后生成看起来合理的答案。

而当这个”合理答案”被数百万用户看到、相信、引用——它就成为了新的”事实”，等待下一代AI学习。

Air Canada判例：企业不能用AI当替罪羊

这个趋势在2024年的一个里程碑案例中达到了法律层面的确认。

Air Canada的聊天机器人告诉一位顾客，他可以享受丧亲票价优惠——在亲属去世后购票可以获得折扣。顾客据此购票，但事后被告知聊天机器人提供的信息是错误的，没有这样的优惠，必须补差价。

Air Canada辩称：聊天机器人是”独立的法律实体”，公司不对其错误负责。就像一个员工的私人言论不代表公司一样，AI的错误也不应该由公司承担。

加拿大法院的判决斩钉截铁：企业必须对其AI系统提供的信息负全部责任。 

这个判决的意义深远。它确立了一个原则：AI不能成为免责的借口。 

• 企业不能说”这是AI说的，不是我们说的”
• 如果你部署了AI系统与客户互动，你就要为它的每一句话负责
• AI的”错误”就是公司的错误

回到中国的案例，这个原则同样适用：

• 观知海内咨询公司不能用”网站BUG”来搪塞——你选择使用AI内容聚合系统，你就要为其输出的荒谬内容负责
• MCN公司不能说”是AI写的文章，不是我们编的”——你利用AI生成虚假信息盈利，你就是虚假信息的制造者和传播者
• 任何组织使用AI产生内容，都必须为最终输出负责，无论中间有多少层AI处理

但现实是，执行仍然艰难，因为规模太大，速度太快。 

滥竽充数：批量假文章的工业化流水线

让我们把视角拉回到中国本土，看看AI虚假信息是如何规模化、工业化运作的。

王某某的日产7,000篇帝国（续）

我们在第二篇中提到过王某某的MCN帝国，但那时我们关注的是AI图像。现在让我们深入看他的内容生产流水线。

第一步：标题生成 

• 输入关键词：地区名、灾害类型、冲突话题
• AI批量生成100个标题
• 算法筛选：预测哪些标题点击率最高
• 人工微调：加入本地化元素（方言、地标）

第二步：内容填充 

• AI根据标题生成800-1500字文章
• 模仿真实新闻的”倒金字塔”结构
• 植入虚假”知情人士”引用
• 添加情绪化的细节描写

第三步：配图生成 

• AI生成”现场照片”
• 刻意添加模糊、抖动效果（模仿手机抓拍）
• 有时混入真实但无关的图片（从其他新闻盗用）

第四步：分发矩阵 

• 842个账号，分布在微博、微信公众号、头条、百家号
• 互相转发，制造”多处可查证”的假象
• 用小号在评论区”佐证”（”我也听说了”、”我朋友就在当地”）

第五步：流量变现 

• 平台广告分成
• 阅读量补贴
• 高峰期日入过万元

成本？每篇不到1元。 

产量？日产4,000-7,000篇。 

按此计算，王某某在被抓前的几个月里，可能产生了数十万篇假新闻，累计获得数亿次浏览。这些内容现在仍然散落在互联网的各个角落，成为信息生态的”永久污染物”。

济南水果摊：情绪工程学的精准应用

那个”65岁老妇摆水果摊被罚16万”的假新闻，不是灵光一现的创意，而是数据驱动的情绪工程学产物。

长沙MCN公司后来在内部培训中透露了他们的”方法论”：

情绪公式： 

传播力 = 不公正感 × 弱者形象 × 金额震撼 × 地方共鸣

A/B测试结果： 

• “小贩被罚5千” → 愤怒指数：3/10，转发率：12%
• “老人被罚16万” → 愤怒指数：9/10，转发率：78%
• “老人被罚16万，儿子自杀” → 愤怒指数：10/10，但可信度降至4/10，转发率反而降到45%

最优解：版本B——足够愤怒引发传播，但不至于夸张到失去可信度。 

配图也经过测试：

• 年轻女性摆摊 → 共鸣度：5/10
• 中年男性摆摊 → 共鸣度：6/10
• 老年女性，面容憔悴，蹲在地上→ 共鸣度：9/10

这不是新闻生产，这是情绪产品的研发和测试。他们不关心真相，只关心什么组合能让最多人愤怒、转发、评论。

而这套方法论，正在被AI平台化、模板化。在某些地下论坛上，你花几千元就能买到”爆款假新闻生成器”，输入关键词，自动生成标题、正文、配图、分发方案。

制造假新闻的门槛，已经降到了只需要会打字的水平。 

上海”骨灰室”谣言：被动参与者的困境

王某加入了一个名为”副业”的微信群。群主每天发送预先写好的文章，王某的任务很简单：复制，发布到各个平台，然后根据浏览量获得报酬。

文章内容？王某根本不关心，也不核实。她只知道，每篇文章能带来几十元收入，一个月能赚几千元。

其中一篇文章声称：”上海某小区地下室被改造成骨灰存放室”，配以阴森的AI生成图片。文章在王某的账号发布后，获得了数万阅读，给她带来了不错的收入。

但那是完全虚构的。 

2024年12月，王某被起诉。她辩解：”我不知道是假的，我只是转发。”

但法院不认可这个辩护：你从传播虚假信息中获利，你就是共犯。 

王某的案例揭示了AI假信息产业链的另一个维度：大量的”被动传播者”。他们不制造内容，但他们是放大器。他们可能不是恶意的，但他们的无知和逐利，让虚假信息的传播范围扩大了百倍、千倍。

而MCN公司恰恰利用了这一点：通过分散传播，降低单个账号的风险；通过利益驱动，招募大量”不明真相”的传播者。 

四川10案：地方化造谣的规模化

2024年7月，四川公安公布的10起AI造谣案例，展示了假信息的”地方化”生产模式：

1. 云南滑坡（配AI生成的”救援现场”）
2. 新疆地震（AI生成的”六指婴儿”）
3. 贵州弃婴（AI编造的”社会新闻”）
4. 凉山地震（AI生成的”倒塌建筑”）
5. 老人虐待（AI生成的”监控截图”）
6. 食品安全（AI编造的”黑作坊曝光”）
7. 医疗事故（AI生成的”受害者采访”）
8. 教育丑闻（AI编造的”教师体罚”）
9. 交通事故（AI生成的”现场惨状”）
10. 环境污染（AI生成的”污染证据”）

这些案例有几个共同特征：

地方性针对：每条假新闻都针对特定地区，因为本地用户更容易相信”发生在身边”的事。

时效性绑定：往往在真实灾害、事件发生后迅速跟进，趁着公众关注度高时发布。

情感共鸣强：都触及了民众最敏感的痛点——灾害、弱者、腐败、食品安全。

成本极低：周某开发的AI工具，让一个人就能生成42万篇假文章。四十二万。让这个数字沉淀一下：这相当于一座中型图书馆的藏书量。一个人，借助AI工具，创造了相当于几百名专业写手几年工作量的内容。

只不过，这些内容全是假的。 

以AI传AI：模型崩溃就在眼前

但真正致命的问题不是某一条假新闻，而是系统性的信息生态污染。

循环污染的恶性螺旋

让我们追踪一条假信息的生命周期：

第1天：生成 

• AI生成假新闻：”某市发现新型病毒”
• 配以AI生成的”显微镜照片”

第3天：传播 

• 王某等人在各平台发布
• 获得10万+阅读
• 数千次转发

第7天：索引 

• 搜索引擎收录
• 被百度百科、维基百科等平台引用（因为”多处可查”）
• 成为”可搜索的事实”

第30天：固化 

• 一些小型媒体转载（未核实）
• 被编入某些数据库
• 出现在相关话题的”延伸阅读”中

第90天：再生 

• 新的AI模型训练时，爬取了这条”新闻”
• 假信息成为训练数据的一部分
• 新AI”学会”了这个虚假的”事实”

第365天：循环 

• 当用户询问相关话题时，新AI会”回忆起”这条假信息
• 生成包含相同错误的新内容
• 假信息完成了从AI→人类→网络→新AI的完整循环 

第1000天：崩溃 

类似的错误在系统中累积，AI输出的内容越来越荒谬。

• 模型崩溃：AI失去了对真实世界的理解

学术界称这个现象为**”模型崩溃”（Model Collapse）**。想象一张照片的复印件，再复印，再复印。每一代都会损失一些细节，增加一些噪点。到第十代时，原图已经面目全非——这就是模型崩溃的形象比喻。

AI内容的循环生成，正是这个过程的高速版本。 

中国的统计数据：99.91%的增长

数字不会说谎，但它们讲述的故事令人心寒。

根据清华大学和《南方日报》的联合研究：经济/企业相关的AI谣言增长了99.91%（2024年同比），几乎翻了一倍：2024年发生的50起重大AI风险事件中，20%以上涉及虚假信息。AI生成内容在社交媒体的总量中，占比从2023年的约5%上升到2024年的15%以上。这意味着你刷到的每7条内容，就有1条是AI生成的，而你很可能意识不到。

这不是趋势，这是海啸。 

信息生态正在被”塑料污染”——AI生成的内容就像海洋中的塑料微粒，无处不在，难以清除，并且正在通过食物链（信息链）循环累积。 

欲盖弥彰：掩饰只会让问题更严重

观知海内咨询公司对煤炭报告事件的反应，是”欲盖弥彰”这个成语的完美演绎。

火速删除：凌晨4点发现，早上7点删除——在大多数员工上班前消除证据。

声称BUG：把责任推给”网站故障”，而非承认AI系统的错误。

强调时间：声称2022年9月就上传（在ChatGPT发布前），试图撇清与AI的关系。

拒绝详细解释：无法说明具体原因，只是重复”BUG”这个万能借口。

这一系列操作，恰恰暴露了问题的严重性：他们知道这很丢脸，但不知道问题的根源在哪里，也不知道如何防止再次发生。 

如果公司诚实承认：

“我们使用了AI内容聚合系统，系统出现了错误，混淆了游戏信息和现实信息。我们没有进行充分的人工审核。我们正在检查所有AI生成的内容，建立更严格的质量控制流程。”

这样的回应，应该反而会赢得更多理解。毕竟，任何使用新技术的组织都会遇到问题，关键是如何应对。

选择掩饰和否认，只会让人怀疑：还有多少类似的错误藏在那些没有被发现的报告里？这是个案，还是冰山一角？ 

这种态度在整个行业中并不少见。许多内容生产者宁愿冒险使用AI生成的未经验证的内容，也不愿意投入资源进行人工审核——因为前者成本低，速度快，而质量问题可能永远不会被发现。

这是一场豪赌：赌你的读者不够专业，赌错误足够隐蔽，赌即使被发现也能轻松应付。 

但当越来越多的”赌徒”涌入这个游戏，整个信息生态系统的崩溃就只是时间问题。

道高一尺，魔高一丈：检测与生成的军备竞赛

面对AI内容污染，检测技术也在进化。但这是一场永无止境的军备竞赛。

375项专利：追赶的努力

自2018年以来，中国在深度伪造检测领域申请了375项专利，涵盖：

视觉分析：

• 面部光影不一致检测
• 眼球反射异常识别
• 微表情不连贯分析
• 手部解剖学错误捕捉

音频分析：

• AI合成声音的频谱特征
• 共振峰异常
• 呼吸模式不自然

语义分析：

• 逻辑矛盾检测
• 风格不一致识别
• 知识错误标记

溯源技术：

• 传播路径追踪
• 首发源头定位
• 账号关联分析

2024年9月，上海举办了首届深度伪造检测竞赛：

• 2,200名参与者
• 26个国家
• 1,500+团队
• 冠军算法在测试集上达到了92%的准确率 

听起来很不错？但现实是残酷的。测试集和真实世界是两回事： 

• 测试集里的假内容，生成方法已知，检测器可以”专门训练”针对这些方法；
• 真实世界中，造假者会不断更新技术，专门规避已知的检测方法；
• 检测器的准确率越高，造假者就越有动力改进，形成”猫鼠游戏”。

就像抗生素耐药性一样：每一代新抗生素都能消灭细菌，但也筛选出了抗药的变种，下一代细菌更难对付。

每一代新检测器都能识破AI内容，但也”教会”了造假者如何改进，下一代AI内容更难识破。 

多智能体框架：用AI对抗AI

新的思路是：不依赖单一检测器，而是用多个AI互相质疑。

DelphiAgent框架（2024-2025）：

• 两个大语言模型协作
• 一个负责生成事实核查假设
• 另一个负责验证这些假设
• 迭代多轮，减少”幻觉”

GKMAD多智能体辩论（2025）：

• 多个AI从不同角度分析同一信息
• 自动引入外部知识库进行交叉验证
• 投票决定可信度
• 展示分歧点，让人类最终判断

Google DataGemma（2024.9）：

• AI生成回答时，同步从Data Commons（公开数据库）检索
• 交叉引用每一个事实性陈述
• 标注哪些是数据库确认的，哪些是推测

这种方法的优势：去中心化。不存在单一的”真相判定者”，而是通过多方博弈逼近真实。

缺点也很明显：成本高，速度慢。

当假新闻已经病毒式传播，获得百万阅读时，你的AI辩论团可能还在开会讨论第三轮验证假设。为时已晚。 

而且，这些系统本身也可能被操纵。如果造假者知道检测系统会引用Data Commons，他们就会想办法污染Data Commons——提交大量”看似可信”的假数据，等待被收录。

这是一场没有终点的竞赛。 

去伪存真：重建信息生态的可能路径

面对这场信息浩劫，我们不是没有办法。但需要的不是修修补补，而是系统性的重建。

个人层面：新时代的批判性思维

在AI时代，我们需要建立”三问习惯“：

第一问：来源是什么？ 

• 这条信息最早出现在哪里？
• 是有署名的专业媒体，还是匿名账号？
• 能否追溯到原始出处？

第二问：证据在哪里？ 

• 是有具体数据、时间、地点，还是模糊的”据悉”、”有人说”？
• 是有多个独立来源确认，还是只有”据转载”？
• 图片/视频是否可以反向搜索到更早的、不同语境的版本？

第三问：逻辑通吗？ 

• 这个说法符合常识吗？
• 有没有明显的矛盾？
• 如果是真的，为什么权威机构没有报道？

关键是：在点击”转发”之前，多问一句”这是真的吗？” 

煤炭报告案例中，只要有一个编辑问：”凋灵骷髅是什么？绿宝石能换煤炭？”就能避免这个荒诞错误。

平台层面：从”中立”到”问责”

社交媒体平台长期以来宣称自己是”中立的技术平台”，不对用户内容负责。

但这个辩护在AI时代站不住脚了。 

因为：

算法即编辑：当平台决定推荐什么、压制什么，它已经在行使编辑权，就应该承担编辑责任。

可预见的危害：当平台明知其系统会被用于大规模传播虚假信息，却不建立有效防御机制，这不是”中立”，这是纵容。

需要的改变： 

• 强制标注：所有AI生成或AI辅助生成的内容，必须明确标注
• 溯源系统：记录每一篇内容的生成过程、修改历史
• 信用评分：建立账号信用体系，频繁传播虚假信息的账号降权
• 快速响应：病毒式传播的内容触发自动事实核查
• 严厉处罚：对恶意使用AI制造虚假信息的行为，永久封禁+法律追究

中国的《生成式AI管理办法》、《网络信息内容生态治理规定》都明确了平台的主体责任。

问题在执行力度。当一个平台每天产生数亿条内容，监管机构只有几百个审核员，这场战斗从数量上就已经输了。

技术层面：水印与区块链

内容水印技术：

• 在AI生成内容中嵌入不可见但可检测的标记
• 类似数字指纹，无法通过简单编辑去除
• 可以追溯到具体的生成模型和时间戳

区块链验证：

• 为重要文档和媒体内容建立不可篡改的时间戳
• 记录创建者、创建时间、修改历史
• 任何篡改都会留下痕迹

分布式验证网络：

• 不依赖单一权威机构
• 多个独立节点交叉验证
• 通过共识机制确定可信度

这些技术的关键是：给用户选择权。

不是替用户决定什么是真什么是假，而是提供工具，让用户自己判断。

法律层面：明确责任边界

需要新的法律框架，明确：

企业责任：

• 对AI系统的输出负完全责任（Air Canada判例的延伸）
• 不能以”AI自主决策”为借口免责

个人责任：

• 明知是假信息仍传播，构成共同侵权
• 从传播虚假信息中获利，从重处罚

平台责任：

• 对明显的、大规模的虚假信息传播，负连带责任
• 必须建立有效的报告和处理机制

AI开发者责任：

• 对可预见的滥用风险，需要采取预防措施
• 不能以”技术中立”为由逃避社会责任

不破不立：从”求真”到”求可验证”

但最根本的，是认知范式的转变。

在前AI时代，我们追求”真相”——找到那个客观、唯一、确定的事实。

但在AI可以无限生成逼真内容的时代，“真相”本身变得越来越难定义，越来越难验证。

新的范式应该是：可验证性。

不再问”这是真的吗？”，而是问：

• 这个信息可以追溯到可信来源吗？ 
• 它的制作过程透明吗？ 
• 它可以被独立验证吗？ 
• 如果错了，有明确的责任主体吗？ 

这需要建立新的基础设施：

内容溯源标准：

• 每一张图片、每一段视频、每一篇文章，都附带元数据
• 记录：谁创建的、何时创建的、用什么工具创建的、是否有AI参与
• 元数据加密签名，防篡改

透明度认证体系：

• 新闻机构、学术机构、政府部门发布的正式内容，有”数字印章”
• 没有印章的内容不一定是假的，但有印章的内容一定是可追溯、可验证的

分布式信任网络：

• 不依赖单一的”真相判定者”
• 通过多方交叉确认建立信任
• 类似科学界的同行评审机制

这不仅是技术问题，更是社会契约的重构。 

我们需要重新定义：在算法时代，什么样的信息生态是我们想要的，以及愿意为此付出什么代价。

尾声：在”塑料污染”的信息海洋中

从Minecraft到煤矿，看似是从虚拟到现实的荒谬错位，实则是从算法到人性的深刻拷问。

海洋生物学家发现，塑料在海洋中会分解成微小颗粒，被鱼类误食，最终通过食物链回到人类餐桌。这个过程是不可逆的，也是致命的。

AI生成的错误信息，正在成为信息生态系统中的”塑料微粒”。 

它们：

• 大规模生成（日产数千篇）
• 难以识别（看起来专业、权威）
• 循环污染（AI吃AI的产物）
• 累积毒性（错误被不断放大）

而当这些”塑料微粒”占据了信息海洋的相当比例，整个生态系统就会走向崩溃。

模型崩溃，不是威胁，而是正在发生的现实。 

但我们并非束手无策。

个人可以培养批判性思维，不盲目转发。企业可以建立质量控制，对输出负责。平台可以加强监管，不纵容造假。社会可以重构信任，建立新的验证机制。 

最重要的是，我们需要认识到：这不是技术问题，而是文化问题。 

我们需要重建一种对真实的敬畏——不是因为法律要求，不是因为平台规定，而是因为内心确信，真实本身就是有价值的。

用《论语》的话说：”君子之于天下也，无适也，无莫也，义之与比。”（君子对待天下的事情，没有绝对的赞成，也没有绝对的反对，只以义为准则。）

在信息洪流中，让我们以”真实”为义，以”求证”为责，以”诚信”为本。 

从Minecraft到煤矿，提醒我们：在算法可以指鹿为马的时代，守护真实，就是守护人之为人的尊严。 

毕竟，一个社会如果连”煤炭”和”Coal”都分不清，它又如何分辨是非、辨别善恶、追求真理？

信息生态的重建，从每一次点击”转发”前的停顿开始。 

---

“假作真时真亦假，无为有处有还无。”——曹雪芹在《红楼梦》中写下这句话时，大概没想到，300年后，AI会把这句诗变成现实。但无论真假如何模糊，对真实的追求，应该是人类永不放弃的坚持。