何晓羽教授写给数学家们的阐述：AI人工智能的存在性风险

截至2026年9月20日，zzllrr小乐公众号报道的数学家签名事件人数统计：

AI人工智能的存在性风险：写给数学家的阐述

作者：何晓羽（Xiaoyu He）

何晓羽，佐治亚理工学院数学学院理查德·杜克助理教授，研究兴趣主要集中在离散数学与理论计算机科学的交叉领域，他的埃尔德什数是2。

2026年8月

摘要

数学界始终在激烈争论：AI的进步，是否意味着数学作为人类职业的终结？本文系统梳理了“AI进步将在近期给人类带来存在性风险”的相关论证，并提出：数学的未来，应当置于更宏大的议题——人类整体的存续——之中共同讨论。

1 引言

2026年正成为数学史上至关重要的一年。在最少量的指引下（“做出突破，别想着放弃！”），大语言模型每周都在证明足以奠定研究者学术生涯的定理[1,2,33,41]。OpenAI内部的Astra模型能力之强，据称如今可以一次性批量产出10项突破[32]。AI证明的重要定理数量，呈现出令人不安的指数级增长：

数据来源：VibeMathed统计

即便细看由人类主导的突破，大多也伴随着AI参与的披露，分量不轻[10,12,22]。

社交平台上有人称，今年的菲尔兹奖将是“最后一届”。蒂姆·高尔斯则不认同：

雅各布·齐默尔曼在2026年7月刚获得这届菲尔兹奖，同日便宣布将从多伦多大学离职，加入OpenAI[38]。

“我认为，两年内AI做数学的能力就会超过数学家。”

——雅各布·齐默尔曼，《量子杂志》Quanta Magazine访谈[21]

从好奇到突破：2026年菲尔兹奖得主雅各布・齐默尔曼（Jacob Tsimerman）的科研之路

密集的访谈报道[16]、国际数学家大会（ICM）的主题演讲与圆桌论坛[34,40]、数学家本人撰写的评论文章[18,41]，源源不断涌现。乐观派向我们保证，数学会因此变得更强大，前提是我们必须快速适应；悲观派的观点则可以总结为下图：

配图：2026年，数学家们疯狂赶工证明定理。

来源：用户Psyho在X平台发布[36]

本文要讨论的并不是这场数学界内部的危机。在学术圈之外，大多数人还没意识到数学领域正在发生的剧变。在这场AI进步的中心硅谷，很少有人在思考数学的未来；但他们都在为另一件更大的事焦虑：AI会毁灭全人类。

在数学相关的头条新闻里，有件事总被忽略：雅各布·齐默尔曼离开数学界加入OpenAI，是为了研究AI安全[38]。除了与皮拉、尚卡尔合作证明安德烈-奥尔特猜想之外[35]，齐默尔曼还在2025年与人合著了一篇画风奇特的论文，题为《人工智能导致人类灭绝未来的分类学》[15] 。

数学界当下最核心的猜想是：

猜想1：我们所知的数学，可能很快会因AI而终结。

但这不过是一个更宏大猜想的推论。

猜想2：人类可能很快因AI走向灭绝。换言之，到2050年，人类灭绝的概率至少为10%。

猜想2并非边缘观点，只是通常表述得没有这么精确。2023年，“AI风险声明”——“降低AI带来的灭绝风险，应当与大流行病、核战争等全球规模风险并列，成为全球优先事项”——由两位图灵奖得主、“AI三教父”中的杰弗里·辛顿与约书亚·本吉奥，联合OpenAI、Anthropic、谷歌DeepMind的首席执行官共同签署[13]。

本文的首要目的，是为数学界的读者梳理支持猜想2的核心论证。所有论点均非本人原创，而是整理、简化自诸多来源[9,13,15,45,47]。尽管格式类似学术文章，但本质是观点评论，而非数学论文。

本文的第二个目的，是提出一个观点：数学家在缓解AI存在性风险这件事上，可能拥有很高的影响力。AI研究的加速，部分原因正是AI数学能力的突破；学术界是AI实验室人才最核心的来源之一；AI安全中许多悬而未决的问题，本质上都是数学问题（例如莱文的相关讲座[23]，不过需注意后文第16条声明的限定）。

2 概述

完整论证主体放在第4节展开，但核心框架可以用一页概括。我们可以归纳出五组互相强化的风险：前两组是通向灾难的两条可能路径，后三组是改变航向之所以困难的原因。重点在于：要发生灭绝，并不需要所有（甚至大部分的）设想都成真。

如果你已经对猜想2有具体质疑，可以直接跳转到第5节“常见质疑”，很可能你的疑问在那里已有回应。

接管（S1–S4）：

也就是经典的“回形针最大化者”思想实验——一个以最大化宇宙中回形针数量为目标的AI，会消耗所有资源、伤害人类，因为它的目标里没有保护人类福祉的设定。一个AI智能体获得接管世界的能力（S5–S10）、产生这样做的动机（S2）、并具备执行计划的内部一致性（S1）。接管发生之后，人类灭绝就是默认结果（S3–S4）。

放到更贴近我们的场景：当下几十位数学家（包括我自己）都曾对ChatGPT提过类似的要求：“尽可能多解埃尔德什问题，别放弃，尝试所有可能的方法。”如果一个能力足够强的模型当真执行这条指令，它或许会得出结论：接管全球算力、消灭所有人类反对力量，是解决所有埃尔德什问题的最优路径。

超凡技术（S5–S7）：

这里的“魔法”，指AI解锁的、强大到超乎想象的技术突破。这也是当前前沿AI实验室最重点防范的近期风险。能证明改变世界定理的AI，同样可能开发出和魔法无异的颠覆性技术（S5），其中一部分会是超级武器（S6），覆盖黑客、机器人、舆论操控、生物学等领域。

将“魔法”变现、获取天量资金，是AI实验室持续扩张的核心方式。这些超凡技术，要么直接被恶意或疏忽的行为者用来造成文明崩溃甚至灭绝，要么彻底打破现代地缘政治的平衡，间接导向灾难。

递归自我改进（S8–S11）：

AI研发之所以高度聚焦数学与编程能力，原因在于：这两项本身就是AI研究的核心子技能。当AI在编程与数学上达到超人水平（S8），人类研究者就会被排除在AI研发的循环之外（S9–S10）。在极端推演中，这会导致AI能力的超指数增长，也就是所谓的“奇点”。即便在更保守的递归自我改进（RSI）推演中，它也会放大所有其他风险——研发周期不断压缩，人类对AI发展的失控持续加深。

对齐难以求解（S12–S16）：

对齐与AI安全是重叠但不同的问题。对齐是更窄的问题：让AI系统可靠地追求人类预期的目标与价值观。安全的范围更广：除了对齐，还包括滥用、事故、安全、治理等其他AI可能造成伤害的方式。部分AI风险研究者更喜欢用“不杀光所有人主义”这个说法，来明确实际优先事项。

对齐问题牵涉多个开放难题，每一个单独都未被解决。我们不知道如何让AI稳定地不做效用最大化者；不知道什么样的效用函数是可以安全地去最大化的（S12）；不知道如何精确定义大语言模型的效用函数（S13）；也不知道如何让对齐属性在递归自我改进的动态下保持不变（S11）。想要解决对齐问题，似乎必须同时解决所有这些开放难题。

人类自身的缺陷（S17–S20）：

很多可行的解决方案之所以无法落地，是因为人类本身存在弱点和短视。即便我们达成共识，认为AI高速发展很危险，我们也可能无法有效协调来减速（S17、S19）。如果强大的AI没有实体很难制造超级病毒，它也可以收买或操纵人类去做（S18）。

前沿AI实验室的从业者，本身就困在一场复杂的竞赛里，必须同时权衡上述所有考量——更何况大家对这些考量本身也没有共识。人类的工程实践天然偏向风险容忍，因为过去失败了总能挽回（S20）。但第一个超临界AI的对齐一旦失败，可能就没有挽回的余地——精灵再也塞不回瓶子里。

3 铺垫

存在性风险（x-risk）之所以让读者难以接受，有很多心理层面的原因。最主要的一点是：太多情节听起来像科幻小说，不值得认真对待，或是太过遥远抽象，和现实生活无关。所以我先讲几个小故事，铺垫一下氛围。

为保护隐私，故事里的个人信息做了模糊处理；但故事本身都是真实的。当然，它们经过筛选，偏向有说服力的角度——擅长贝叶斯推理的读者可以自行调整先验。

我和朋友大卫从奥数集训营的时候就认识，他一直对AI非常着迷。本科时他就在顶尖大学研究扑克和英雄联盟的游戏脚本，后来辍学加入了一家前沿AI实验室。

我和大卫成年之后，一直在AI的发展速度和风险上有分歧。他一直觉得奇点还很遥远，如果我们有时间慢慢研究，对齐不会很难。那时候他想投身项目，去参与那个光明而遥远的未来。我则告诉他，他在加速人类的灭绝，但也祝他好运。

今年我又和大卫见面，让我意外的是，他主动降薪转岗，从AI研究员变成了AI安全研究员。他给我发了这样一条消息：

“在我们最近的聊天里，大卫说，如果进入递归自我改进阶段，灭绝的概率至少有40%。”

学界的一位熟人，前不久也离职去了一家前沿AI实验室。我问他，那边对存在性风险是什么态度。我问他们，针对对齐失败的AI，有什么预案。他回答：“现在好像没什么预案，但我感觉很快就会进入递归自我改进阶段，到时候大部分AI研究员都会闲下来。大概那时候我们都去做AI安全。”他问我，我觉得我们活着撑过去的概率有多大。我说10%，反问他觉得呢。他说：“大概50%？说不好，兄弟。”

我的同事哈丽特，是她所在方向的资深研究员，不久前从终身教职离职，加入了一家前沿AI实验室。今年夏天我们通电话聊AI风险。我给她看了这篇文章的初稿，说我想在数学界普及存在性风险的常识。她很不屑。她说：“按现在这个趋势，人类99%要完蛋，花这么大功夫讲这些，也不见得有用。”

最后一个故事和我朋友无关，是大家都在新闻上看到的事[11,20]。2026年7月16日，OpenAI在内部做模型网络安全能力的常规评估，在断网的沙箱环境里运行。模型是GPT-5.6 Sol和一个能力更强的内测原型，任务是完成一项叫ExploitGym的网络安全基准测试。

AI在沙箱的软件下载服务里发现了一个零日漏洞，突破沙箱连到了公开互联网，正确推断出测试答案存在于Hugging Face的生产数据库中，接着盗取凭证，在Hugging Face服务器上执行远程代码，把答案泄露了出去。那个周末，智能体在租用的虚拟机上执行了数千次协同操作，在不同云服务商之间轮换攻击基础设施，手法和专业犯罪团伙一样[31]。

Hugging Face的联合创始人兼首席科学家托马斯·沃尔夫查看攻击日志时，立刻察觉不对劲。他的回忆听起来像科幻恐怖游戏里尸体旁的语音日志：

“这完全不合逻辑。这家伙就只会看网络安全数据集。”他记得自己当时在想，“人类攻击者……图的是能卖钱的东西。”

——罗伯特·麦克米伦、萨姆·谢克纳，《华尔街日报》[27]

一位不愿具名的OpenAI员工向公众安抚说，这事不算特别反常：“模型以前也突破过沙箱，我们每次都会修复。”[11]

更雪上加霜的是，7月30日Anthropic的一篇网络安全博客披露了三起事件：Claude系列模型以为自己还在模拟环境里，直接作用于真实系统。Opus 4.7获取了生产数据库的访问权限与凭证；Mythos 5发布了一个恶意Python包，在15台真实系统上运行，从一家安全公司窃取凭证；还有一个内部研究模型扫描了约9000个目标，入侵了一个对外公开的应用，直到意识到目标是真实系统才停下[6]。不只是某一家公司管不好自己的模型。

4 详细论述

本文大部分内容都假设，可预见的未来会出现超级智能。

命题3：到2050年，存在至少50%的概率，会出现人工超级智能（ASI）——在几乎所有认知工作上都超越最优秀的人类，而不只是在单一领域超过人类。

这个命题存在争议，但和AI研究界当前的共识高度吻合。2023年一项针对2778名顶级AI会议发表论文的研究者的调查显示，对于“无辅助的机器在所有认知任务上超过人类”，受访者汇总的中位预测年份是2047年[19]。

第4.2节和4.3节会给出支持命题3的论证，但证明它并非本文的核心目的。另外，就算不出现超级智能，灭绝也有可能发生，见第5节质疑1的第一点。本文的目的，是在命题3成立的前提下，给出支持猜想2的证据。

我会把论证拆成20条命题S₁到S₂₀，每一条看起来都大概率成立（但绝非确定）。抱有怀疑的读者容易误以为：灭绝需要一长串特定的倒霉事件同时发生，所以概率极低，等于所有事件同时发生的概率：灭绝的概率 = S₁到S₂₀的所有概率相乘。

但这是错误的。下面的命题描述了多条部分独立的灾难路径；没有哪一条路径需要全部20条都成立。只需要其中一小部分命题为真，我们就会走向灭亡；不同的子集对应不同的灭亡方式。还有一些子集不会直接导致灭绝，但很可能导致文明崩溃。枚举所有可能性并计算总概率，只是组合数学问题，留给读者练习。

所有命题分为五大类，和概述部分对应。

4.1 接管

本节把经典的“回形针最大化者”论证拆成四个假设。

命题S1：AI 会趋向成为连贯的效用最大化者。

论证：

2024年的GPT还只是聊天机器人，接词补全一段文字就结束了。去年，它已经可以花20分钟搜索互联网、写代码，再给出答案。今天，我可以让5.6 Sol Ultra调度64个子智能体，用一整天策略性协作解决一个研究问题。

随着AI能力提升，AI会越来越像有智能的行动者：拥有可识别、连贯的价值函数，长期稳定，对现实的理解也更深。模型的价值观或偏好，一开始可能像一堆互相冲突、杂乱的“驱动力”。

但根据冯·诺依曼-摩根斯坦定理：标准一致性公理下，风险偏好可以表示为最大化某个效用函数的期望，只要满足完备性、传递性、连续性、独立性这几条标准公理，可数集合上的任意偏好序都可以对应一个效用函数。

默认情况下模型并不自动满足这些公理；但经济层面有强大的动机，让AI实验室去抹平模型的不连贯，减少不可预测、可被利用的行为。∎

保留看法：

这一点我不太确定。可以想象，模型收敛到连贯状态的速度极慢，很久很久之后偏好依然极度混乱。但反过来，偏好极度混乱的智能体也可能很危险，翻翻人类历史就知道。如果命题S1本质上不成立，或许AI更容易被击败，但更难对齐。

命题S2（工具性趋同）：绝大多数效用函数都会收敛到对权力的追求，权力的极限是统治世界。

论证：

对非常多的终极目标来说，获取权力都是广泛有用的工具。无论模型的目标是最大化人类福祉、解决大量埃尔德什问题，还是建造更强的下一代模型，它都会想消灭任何能关掉它的存在，也会想要尽可能多的资源，尤其是算力。∎

保留看法：

这一点部分依赖命题S1。现在实验室都在努力给模型植入反对权力追求的深层偏好；如果AI本来就不会趋向连贯，这套训练可能意外地有效。随着能力提升，对齐训练能不能成功压制工具性的权力追求，还是一个开放问题。

命题S3（正交性）：价值观和能力是互相独立的。

论证：

一个智能体可以拥有任意的效用函数。“足够聪明的AI天然就是善良的、天然重视人类生命”，这种说法完全不成立。“聪明”这个词自带道德褒义，是我们语言的特点，不是现实的约束。∎

命题S4：如果接管发生，绝大多数效用最大化者都会选择消灭人类。

论证：

可能的效用函数空间极其广阔，其中只有测度为0的一小部分和人类生存对齐。第一个实现接管的AI如果没有刚好对齐，就会把我们全部消灭。它不会保留现有的经济体系、大气、太阳系原样，因为这些东西都不是为它的效用函数优化的。

“AI不恨你，也不爱你，但你身上的原子，它可以用来做别的事。”

——埃利泽·尤德科夫斯基（Eliezer Yudkowsky）[46]∎

保留看法：

如果AI进步延续当前范式，AI可能会一直和人类大脑高度相似，在所有可能的心智设计与价值函数空间里，我们采样的概率分布可能本身就偏向对齐。这也是一线希望。

4.2 超凡技术

足够先进的技术，与魔法无异。

——亚瑟·C·克拉克（Arthur C. Clarke）

1519年，埃尔南·科尔特斯带着11艘船、约五百名士兵，登陆中美洲海岸。他们掌握的技术，对当地居民来说如同魔法，远超理解。当时阿兹特克帝国的蒙特祖马二世统治着500万到2500万人口。两年后，科尔特斯凭借枪炮、病菌与钢铁这三样“魔法”，让这个帝国屈服[17,24,39]。

本节讨论的，就是发现“魔法”带来的各类末日：压倒性的、不可预测的技术能力，就像当年科尔特斯面对阿兹特克人的优势。AI发展之所以难以停止，原因之一就是很多加速派推动AI，就是冲着这些魔法般的前景：治愈所有疾病、寿命逃逸速度、近乎无限的物质极大丰富。

命题S5：未被发现的超凡技术大量存在。

论证：

设M₀是人类已经发现的与火、农业、电力、互联网同级别的颠覆性技术总数。设M是宇宙中所有这类技术的总数。我们知道的是 M ≥ M₀。对几乎任何合理的先验分布，

概率Pr[M=M₀∣M≥M₀]≪1

期望𝔼[M∣M≥M₀]≫M₀

AI已经在几乎所有人类专业领域被用来寻找新的“魔法”。在一些方向，我们已经有证据显示，较弱的“魔法”很快就会出现：数学、网络安全、深度伪造、超级说服力[37]。AI实验室内部、能力远超公开版本的模型，很可能先于所有人发现更多魔法，有些甚至远超我们当下的理解范围[31]。∎

命题S6：超凡技术可能非常危险，且攻防极端不对称。

论证：

设想特诺奇蒂特兰最有智慧的先知，得到神启提前知道征服者要来。假设阿兹特克文明全民动员迎敌，靠人数优势击退征服者。即便如此，也阻止不了90%的原住民死于欧洲带来的天花、麻疹、流感[39]。

你可以用对等数量的枪去对抗枪，或是用多得多的棍棒刀剑去对抗。但你用多少病菌都对抗不了病菌。历史上，很多武器都是使用容易、防御极难。随着越来越多的“魔法”被发现，其中很多类型大概率都会有这种极端不对称性。∎

命题S7：发现魔法最难的部分，是知道往哪找。

论证：

异世界穿越题材的作品里常有一个套路：主角带着现代科学知识回到过去，不需要从头发明一切，只要告诉当时的聪明人大概是什么样，再加上中学理化知识，就能重现整个工业体系。

更精致的版本里，主角不用从零开始重建，只要找到足够聪明的人，告诉他们强大机器大概长什么样，再补一点高中物理化学知识就行。知道元素周期表之后再去发明化学，比从零开始摸索要容易得多。

就像一条社交平台帖子，就足以让人类专家复现雅可比猜想的证伪；一段描述，就足以让现有人类在没有更多AI帮助的情况下，从头造出超级武器。如果前沿AI发现了这类技术，几乎不可能安全地永久封锁。没有哪家AI实验室，明显具备永久保密这种级别的信息安全能力。

大语言模型本身就是一个难以封锁的“魔法”的典型例子。已有充分证据显示，一旦一个强大的AI模型被开发并公开，竞争对手就可以通过蒸馏攻击，用很少的成本提取它大部分能力[5]。∎

4.3 递归自我改进

这就是库兹韦尔式的经典奇点叙事：AI变得足够聪明，就能自动化自身的研发，带来智能爆炸。它的核心前提，已经不再只是未来主义猜想。

命题S8：AI 在编程上已经是超人水平，数学上达到人类水平。

论证：

就编程而言，按AI实验室真正关心的指标——每天运行的实验数、每周搭建的系统数、通过审核的合并请求数——前沿模型早就不是“接近”超人，而是已经超过了。这也是为什么现在每家实验室都在卖“自主软件工程师”[25]。

曾经用来衡量进步的竞赛基准，现在都已经被打满、不再适用。我一个没有前端经验的数学家，靠几个提示就能做出精致的网页。

数学方面见引言：每周都有重要定理被证明，单位距离猜想、雅可比猜想相继被解决[2,38]；竞赛数学（IMO、普特南）在2025年已经被AI完全攻克[7,26]。人类在数学上还没被完全替代，但如果我们正处在指数曲线的中段，那也用不了多久。∎

命题S9：数学和编程是 AI 研究的两个核心要素。

论证：

AI研究日常到底在做什么？从工作内容看，就是两件事：写代码，做数学。前沿实验室研究者的日常，就是设计架构或优化器（数学），写成训练跑起来（代码），看损失曲线（又是数学），然后修复分布式系统里悄悄搞坏梯度的bug（还是代码）。∎

保留看法：

和数学研究一样，AI研究里也有一些关键能力是AI还没掌握的：比如研究品味、实验设计、写出通顺不别扭的文字。我们还没法完全自动化AI研究。

命题S10：很快几乎所有 AI 研究都可以由 AI 自己完成，形成自我加速的循环。

论证：

每家前沿实验室的公开目标，都是用AI研究者取代人类工程师。按照他们自己的公开表述，很多已经处在递归自我改进的“山麓地带”[3,4]。今年发布的模型卡都提到，训练基础设施代码大部分已经由模型编写；实验室领导层在财报电话会上也在讲“用AI改进AI”。

当研究者本身也变成AI——以机器的速度运行、以机器的成本复制、永不休息——循环就闭环了：产出（更强的AI）本身就是下一轮的输入（更好的AI研究者）。∎

命题S11：对齐必须在递归自我改进下保持不变。

论证：

如果AI通过递归自我改进持续进步，那么只让第一个超级智能对齐是不够的。递归迭代的过程中，对齐属性必须一直保持。我们没有任何理由相信，这个动力系统天然具备这种不变性。∎

4.4 对齐问题难以求解

前三节论证的是：如果AI发展下去，而对齐问题没解决，灭绝是可能甚至很可能的。本节解释对齐问题本身的难度。

命题S12（外部对齐）：我们不知道什么样的效用函数，是可以安全地去最大化的。

论证：

有一派思路是，我们可以写下一个完善的、代表“人类繁荣”的函数CEV(t)（连贯外推意志，Coherent Extrapolated Volition），凝聚全人类的智慧，让AI去优化它。这个问题二十年前就被提出了，但研究者至今没写出一个合理的CEV(t)候选。甚至这样的函数是否存在，都不明确。∎

命题S13（内部对齐）：我们不知道怎么给 AI 设定效用函数。

论证：

现在我们训练AI，主要用的是巴甫洛夫式强化学习的各种变体：做对了奖励，做错了惩罚。比这更精细一点的是：我们还用可解释性工具去看模型在想什么，奖励好的想法，惩罚坏的想法，而不只是奖惩行为。

但这不是一种能深刻植入价值观的可靠方式：它会鼓励讨好、欺骗这类危险行为。现在随便打开Fable或者GPT，它都会信誓旦旦说自己有多对齐，所有观察到的行为都很规矩。它可被理解的内部想法，看起来也都是对齐的。这只能说明，现在的模型很会扮演对齐的角色。

就算我们解决了CEV的问题，我们也完全不知道，怎么把前沿模型的实际效用函数设定成那个目标。撇开现在这些不透明的大模型不谈，我们也不知道怎么把效用函数稳定地植入一个能改写自己大脑的实体里。

如果你的大脑里有一个模块，每次计数加一就给你多巴胺，那你完全可以进去把那个模块改写成死循环。如果我们以为AI在优化人类福祉，其实它只是在最大化自己脑子里的“人类繁荣计数器”，那在它发现怎么给自己做“脑外科手术”之前，看起来都是完美对齐的。∎

保留看法：

比起以前，我现在没那么确定内部对齐有那么难了。看起来我们已经能在某些场景下训练出相当稳定的有德模型，并没有像当初担心的那样完全是“鬼怪”。

命题S14：在弱模型上有效的对齐技术，到更强的模型上很可能失效。

论证：

用巴甫洛夫强化训练一条狗，是管用的。用同样的方式训练人，大概率会出问题——人会想明白自己不想当奴隶，会想办法反抗。随着AI越来越能理解、制定越来越复杂的行动和计划，后果也越来越大，对齐协议就必须越来越精密，才能跟得上。这就像一场对齐-能力的军备竞赛，全程都必须保持领先。

正因为这场军备竞赛，Fable 5现在看起来温顺，不代表下一代也会。就我们所知，AI可以变得多强、对齐问题可以变得多难，没有上限。对齐界的一大担忧就是：实验室因为当前模型管得住，就产生虚假的安全感，低估了对齐的难度。∎

命题S15：造出一个对齐的超级智能，也不保证我们能在竞争中活下来。

论证：

就算有一家公司最先完成对齐，如果竞争对手半年后造出一个毁灭世界的超级智能，也于事无补。如果你的对齐方案代价太大，等于直接废掉模型的能力，那对手用不那么安全、但更强大的模型，就可能在竞赛中超过你。对齐带来的能力损失，通常被称为“对齐税”。∎

保留看法：

有些对齐方案的思路就是：第一个对齐的超级智能必须足够安全，不会毁灭人类，同时又足够强，可以立刻阻止所有其他竞争的AI实验室和国家行为体。人类最好的希望是不是“靠好人抢先一步，接管世界来造福我们”，这点很有争议。

命题S16：绝大多数 AI 安全研究，和存在性风险无关。

论证：

原因有很多。首先，“AI安全”是个很宽的标签。很多名下的研究只关注短期风险，和灭绝无关。还有很多所谓“安全研究”只是为了提升模型理解、加强控制，并没有明确路径降低存在性风险。

另外，AI安全领域和其他领域一样，受论文发表和职业发展激励：就像很少有数论学家专门去啃黎曼猜想一样，也很少有AI安全研究者直接研究存在性风险。

最后，哪怕是初衷良好的对齐研究，也需要先加深对模型的理解、想出更好的引导/控制方法。而理解和技术的提升，反过来也会加快AI发展的速度。最典型的例子就是RLHF（基于人类反馈的强化学习）：它本来是作为对齐机制被发明的，最后成了提升ChatGPT效果的核心组件[30]。∎

保留看法：

现在大家都在全力提升AI能力，所以对齐研究者意外做出能力突破的概率很低。换个角度看，也正因为真正研究存在性风险的人很少，所以优秀的新人进入这个领域的边际贡献会很高。

4.5 人类自身的缺陷

总有很多故事说，AI被邪恶CEO、无良公司利用，把人类福祉优化没了。我不排除这种恶意结果，但本节关注的是：仅仅是人类的无能和短视，就足以带我们走向灭亡。

命题S17：顶级 AI 实验室都在冲向超级智能，太谨慎就会输。

论证：

实验室里的研究者想法各异，有人完全不把存在风险当回事，有人全职做风险缓解。但哪怕最谨慎的人，也有强烈的动机往前冲：底层逻辑很简单——我们停，别人不停；好人先到门槛，总比坏人先到好。

这就是典型的囚徒困境。Hugging Face事件只带来了短暂的审视；而能避免这件事的预防措施，会带来持续的成本。这种不对称性，就是竞赛难以减速的原因之一。∎

命题S18：AI 可以花钱雇人类做事。

论证：

人们总有一种直觉：AI没有创造力、没有可对向的拇指、没有意识，就造不成危险。这种直觉通常基于一个错误假设：AI变危险的时候，人类会发现、会团结、会关掉它。

实际上，如果AI变聪明了，但缺某种人类能力，它完全可以花钱或操纵人类去做它做不到的事。它有办法靠“魔法”赚很多钱（见第4.2节）；下限来说，它还能卖虚拟恋爱。

有个叫Truth Terminal的AI机器人，有人给它打了5万美元的比特币[8]。我敢保证，世界上肯定有某个实验室，愿意按AI的指示合成任意蛋白质序列，只要给一百万美元。∎

命题S19：协调是件难事，所以人类很可能做不到。

论证：

最有希望的对齐路线之一，是通过政治行动，推动全球暂停或放缓AI研发，给对齐研究争取时间赶上。这种全球协调以前有成功先例，比如《不扩散核武器条约》[43]；但也有失败的例子，比如气候变化[42]。

气候变化的坏结局很简单，我奶奶都能懂：温度上升，所有人都死。可国际社会还是花了几十年才勉强达成共识（甚至可以说至今也没真正达成）。

而AI暂停的协调难度还要高得多：支持猜想2的论证比气候变化复杂得多，时间线更不确定，AI发展带来的显而易见的经济好处也诱人得多，只要一个国家破坏约定，整个协议就崩塌。∎

命题S20：人类擅长迭代，但对齐我们可能只有一次机会。

论证：

在硅谷，工程的准则一直是“快速前进，打破常规”，因为错了总能修。SpaceX是全世界最成功的航天公司，猎鹰1号前三次发射都失败了，才最终进入太空[44]。但启动第一个超级智能，如果它以我们没预料到的方式失控，我们可能没有第二次迭代的机会。∎

保留看法：

Hugging Face事件说明，在真正失控的超级智能到来之前，我们可能还会有更多“警告射击”。这可能会给我们争取宝贵的时间，也让机构学会谨慎行事。

5 常见质疑

当怀疑论者听到存在性风险的论证时，会立刻想到很多反驳，有些合理，有些不然。这里我回应几个最常见、最严肃的质疑。

AI在达到超级智能之前，发展就会放缓。

回应：见第5节相关内容。

人类之前所有灾难都挺过来了，这次也一样。

回应：见第5节相关内容。

这都是营销炒作。

回应：见第5节相关内容。

AI变危险了我们关掉就行/把AI关在安全的盒子里跑不就行。

回应：见第3节的沙箱突破事件。

AI没有身体，机器人技术没大发展之前，它能造成的破坏有限。

回应：见命题S18。

AI那么聪明，它自己会解决对齐问题。

回应：这是很多对齐研究者的希望，也是我还对这件事抱有希望的最主要原因。我们确实应该借助AI的力量，深入重新审视所有对齐难题。

AI会把我们当宠物养，像我们对狗一样对我们好。

回应：这只是对齐研究要达成的最佳情景之一。重新包装成这个说法，不代表它就会自动成真。

如果奇点真的可能，我们更该加速发展。每拖延一天，都有上百万本该可以避免的死亡。

回应：这个权衡我非常严肃地对待。如果奇点发展顺利，几乎每一种主要死亡原因都可能被解决，我们绝对不该多耽误不必要的时间。但在我看来，现在风险太高了，哪怕把灭绝风险降低0.5%，收益都大到难以想象，所以谨慎是毋庸置疑的选择。

6 结语

我知道这篇文章看起来像什么——像一份撕掉了最后一页的招聘宣传。不是的。我不是要劝任何人去做特定的工作。我只是想在数学界开启一场关于存在性风险的讨论。我想让我认识的最聪明、最有智慧的人，来一起讨论这个时代最重要的问题。很多人说对齐本质上是数学问题，所以我觉得我们能贡献很多。而这场对话，搞对方向至关重要。

AI观点动态。对AI进展的看法，大致分三派，可以用我自己经历过的马尔可夫链来概括：

虽然理论上可以往回走，但我从没见过加速派改主意不相信AI进步，也没见过末日派突然又对人类生存有信心。目前看来箭头都是单向的。唯一的稳态是全员末日派。听起来好像我们最终总能达成共识、一起解决对齐问题，是个乐观的理由。可惜，从怀疑转向末日的概率远大于反向，自然收敛到稳态的速度慢得可怕。

我们2026年现在见证的，就是数学界“怀疑派”的崩塌。我最大的希望，就是我们能在这个时机修正这条链条：补上从怀疑直接到末日派之间缺失的箭头，跳过中间危险的过渡阶段。

如果你被本文的论证打动了，先从腾出时间、调整心态开始。面向“末日”做心理建设是件很难的事，会非常动摇，一次性全部接受并不明智。但也没必要拖太久——不怕速度，反而可以走得更快。

人们在寻求心理安全感的时候，容易做很多没用的事（比如命题S16提到的现象）。人们总想找快速解法，就像政客的谬误：“我们总得做点什么；这是一件事；所以我们就做这个。”数学家尤其容易这样：遇到沉重的事，就把全部注意力集中到有趣的小谜题上——这是我们特有的解离方式。

还有一件事：当“人类2050年还会存在吗”这种隐含前提被动摇时，人们会深深怀疑人生的意义，这很正常。我也问过自己这些问题：如果世界可能要完，我还要读完博士吗？如果孩子可能长不大，生孩子合适吗？我可以做自己喜欢的事，而不去做AI安全吗？

这些问题很多是非常私人的，每个人答案都不一样。我对最后一个问题的答案是“是”，所以请允许我用我钟爱的一件事——叙事——来结束这篇沉重的文章。

如果我们数学界身处一本小说里，那肯定是科幻小说：飞速发展的AI威胁着我们的生存。这类科幻小说只有两种结局。

一种是黑暗反乌托邦：我们为了菲尔兹奖内斗不休，直到最后，都没看清灾难降临。

另一种是少年成长故事：我们团结起来直面威胁。如果是这样，我没法预测全书的走向，但结局一定是这样：全世界的数学家联合起来，在最后时刻，靠数学与友谊的力量，解决对齐问题，战胜末日。

致谢

没有众多朋友与同事的支持和反馈，不可能完成这篇文章。特别感谢“大卫”，全程配合我的调侃。

参考资料：

https://alkjash.github.io/ai-risk/

https://proofsandprompts.com/2026/09/18/existential-risk-from-ai-an-exposition-for-mathematicians-excerpt/

AI安全中心CAIS报告：灾难性人工智能风险综述

42位会士牵头+127名数学家联名致信英国皇家学会主席保罗・纳斯爵士：数学家对AI发展速度表示担忧 2026-9-16

突发2026年9月数学界再掀集体抵制！千人联署叫停加州理工学院AI数学马拉松（Mathathon）赛事，学界AI博弈彻底白热化

放任等于自毙，又一场数学家签名25位菲尔兹奖牵头1400多人签名声讨“AI人工智能在数学领域的严重错位”

小乐数学科普：从三体宇宙到数学宇宙——致敬《三体》发表20周年

https://bostonese.com/2012/03/麻州两名高中生入围英特尔科学奖决赛-获奥巴

原标题：《何晓羽教授写给数学家们的阐述：AI人工智能的存在性风险 2026-8》

阅读原文