曲线向上，不等于未来只有一种走法
雷·库兹韦尔常用指数增长解释技术进步：早期变化缓慢，累积到一定阶段后，增长看起来突然加速。他把这一趋势延伸到计算能力、人工智能和人类生活，提出“奇点”这一未来图景。理解他的观点，先要区分两件事：某些计算指标长期呈现快速增长，和社会将按同一条曲线走向某个确定未来，并不是同一个命题。
指数曲线很容易让人产生直觉：既然过去不断加快，未来就会更快。但技术发展会遇到材料、能源、成本、制度、市场和社会接受度等约束；一项指标的增长，也不能直接代表通用能力、可靠性或公共收益同步增长。曲线有解释力，却不是历史的自动驾驶仪。
库兹韦尔长期公开主张，技术进步可能深刻延长生命、扩展认知并改变人类边界。面对暂停训练更强AI的呼吁，他质疑暂停的可行性与代价，并强调技术也可能带来应对风险的能力。奇点问答；他对暂停呼吁的回应
“防御也会进步”需要哪些条件
乐观论述常指出，AI能帮助发现漏洞、改进医学和应对环境问题；这并非空想，技术确实可能增强防御能力。但防御工具是否能及时、广泛地保护人群，取决于获取渠道、组织能力、基础设施和分配方式。攻击者若只需找到一个薄弱点，防守者却要保护许多系统，双方的成本结构未必对称。
因此，“防御也会进步”是一项可能性，不是风险已经抵消的证明。它还隐含了几个条件：防御能力能与攻击能力同步增长；重要机构及时采用；关键系统仍可修复；收益不会只集中在少数组织。对这些条件，需要逐项举证，而不能用总体技术乐观代替。
公平地说，库兹韦尔提醒人们不要把灾难情景当作唯一未来；他强调技术也能带来巨大福祉。批判他的预测，不必嘲笑这种愿景，只需追问外推范围：从计算速度推到社会变革，中间还隔着多少制度和分配问题？
奇点更像一面镜子
“奇点”既是技术预测，也是关于人类边界的文化叙事：我们希望超越衰老、疾病和认知限制，又担心自己造出的力量反过来改变我们。它吸引人的地方，正是把长期趋势压缩成一个清晰转折点；危险也在这里——当未来被讲成必然到来，人们容易把治理理解为追赶命运，而不是作出选择。
对AI风险研究而言，关键不是接受或拒绝奇点概念，而是把宏大叙事拆成可检查的问题：什么能力在增长？证据来自哪里？预测期限多长？增长是否可逆？谁承担收益与风险？当潜在损害不可逆时，仅凭“技术会提供解决方案”还不够。未来可能打开新的门，也可能让旧的出口消失。判断之前，我们需要知道门由谁开启、谁能关上。
主要来源
- Kurzweil, Ray. “A Singularity Q&A.” https://www.writingsbyraykurzweil.com/a-singularity-q-a
- Kurzweil, Ray. “A Note on the Recent Call to Pause Work on AI More Powerful Than GPT-4.” https://singularityhub.com/2023/05/05/a-note-from-ray-kurzweil-on-the-recent-call-to-pause-work-on-ai-more-powerful-than-gpt-4/
- Kurzweil, Ray. The Singularity Is Nearer (2024). Viking.
- Grace, Katja et al. “Thousands of AI Authors on the Future of AI.” https://arxiv.org/abs/2401.02843
发表评论