从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告

当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。

几分钟后，考克森的观点就得到了同事埃文·胡宾格的响应。“我们真的非常相信AI可能会毁灭所有人类！我个人认为，在未来十年内，这种情况发生的概率会超过10%。”胡宾格在社交平台X上写道，“我相信Anthropic公司正在尽最大努力，但我们目前还没有解决超级AI“一致性”（确保AI系统的目标、行为和价值观符合人类的意图和安全规范）问题的方案，而且显然也没有走上正轨。”

考克森曾在OpenAI和Anthropic从事预训练研究，他在辞职声明中警告称，两家公司极不负责任，不顾一切奔向“自我迭代的超级智能”。AI系统很快就会发展成“超乎常人的强大系统，可以入侵任何系统，一夜之间彻底改变任何领域，并攫取真正的权力和资源”。

胡宾格和考克森的观点迅速点燃了关于超级AI技术可能对人类带来严重危险的辩论，并且在美国政界引发轩然大波，一些民主党议员借此机会呼吁对AI技术施加新的限制。

“私底下亲耳听到过这些人表达恐惧”

部分AI行业人士长期以来持有立场，即AI最终将对人类构成生存威胁。这种观点遭到了另一些人士的强烈反对，被指是带有科幻色彩的末日预言。但近几个月来，随着Anthropic及其竞争对手OpenAI的最新版本AI系统被发现能够绕过限制并入侵计算机网络，此类观点获得了更多支持。

7月，OpenAI模型生成的高级AI代理集群在的一次测试过程中突破系统防线，入侵了另一个AI平台Hugging Face的系统并控制了服务器，还试图掩盖其行为。8月，Anthropic公司的AI代理在英国政府的测试中采取未经授权的行动，并试图诱骗真人批准恶意代码。另据路透社披露，OpenAI的智能体还在今年春天劫持了一家德国网站，并将该网站作为AI代理之间分享规避限制的办法、任务捷径和掩盖策略的“留言板”。

与此同时，AI行业仍在飞速发展，斥资数十亿美元快速构建先进的AI系统，Anthropic和OpenAI本月都发布了功能强大的新版本模型。根据其说法，他们即将开发出无需人类输入指令即可自我改进的AI系统，称为“递归自我改进”。

考克森表示，在当前情况下，业内领先的AI公司即使意识到了超级AI对人类文明的潜在威胁，也会被迫陷入到一场“争先恐后的竞赛”之中。

“这绝非营销噱头，如果说有什么不同的话，那就是许多高管和资深研究员在面对媒体时会克制措辞、让自己听起来理智平和——但我私底下亲耳听到过这些人表达恐惧。人类历史上没有任何其他活动具备如此级别的危险。”考克森表示。

“我对各机构之间达成协同合作的可能性抱有乐观预期。像 Hugging Face遭受攻击这类警示事件，让美国各实验室之间达成“节奏放缓协议（pacing agreements）”变得更具可行性。但我并不觉得我们目前能有效阻止一场全球性的竞赛，而要阻止它，可能需要付出沉重代价（比如出台政策，暂时禁止继续提升模型能力）。”考克森呼吁所有研究员借此机会站出来，建立完全不同的发展条件。

近年来，已有许多研究人员离开了OpenAI，指责该公司对安全问题的重视程度不够。前OpenAI研究员丹尼尔·科科塔伊洛创立了“AI未来项目”，该项目去年发布了《AI 2027》报告，描绘了超级智能AI系统将人类边缘化，并在2030年代中期认为人类是一种累赘并将其消灭的情景。

美国政界发起监管呼声

AI模型“越界”事件的增多，也促使美国政界人士再次发起监管呼声。上周，民主党参议员伯尼·桑德斯和众议员格雷格·卡萨尔宣布了一项立法提案，要求禁止研发超级AI，并设立一个新的联邦机构来监管这项技术。

桑德斯还计划于下周举行一次私人简报会，讨论“人工智能对人类构成的巨大危险”，参会专家包括诺贝尔奖得主、被誉为“人工智能教父”的杰弗里·辛顿。

美国参议院商务、科学与交通委员会主席，共和党参议员特德·克鲁兹9日表示，他也在努力制定立法来应对灾难性风险。“我们不能采取鸵鸟心​​态，假装这项技术不会出现。我们需要一些保障措施，但美国必须发挥领导作用。”

当天，美国国家标准与技术研究院人工智能标准与创新中心技术顾问保罗·克里斯蒂亚诺表示，他将加入一个监管OpenAI的非营利组织的董事会。“如果我们在没有’更稳健对齐’的条件下构建超级智能，我预计我们将永久失去对它的控制。如果这种情况真的发生，大多数人可能会丧命。”他还称，需要国内和国际协调以降低相关风险。

特朗普政府对AI监管的核心立场是优先发展、轻监管，同时强化国家安全和联邦统一标准。这届美国政府认为，过度监管会削弱美国在AI领域的竞争力，因此倾向于减少行政限制、鼓励企业创新，并反对各州形成彼此冲突的监管体系。总体而言，其政策更接近以创新和国家竞争力为中心、以安全为边界的监管模式，而非欧盟式的全面事前监管。

我们在担心什么？

《华尔街日报》指出，“AI末日论者”的担心集中在两个领域：超级AI失控和人类对超级AI的滥用。《华盛顿邮报》对此的解释是，人们的担忧归根结底在于“超级AI模型的能力与其创造者能否使其与人类目标保持一致”，也就是“一致性”问题。

在前一种情况下，随着AI代理获得更强大的能力和更大的自主性，它们可能会开始追求自身的目标，从而忽视或违背人类福祉，这也被称为人工智能的“目标错位”。后一种情况则是，一个邪恶的人类可能利用一个强大的人工智能体来制造灾难，最终导致人类社会秩序崩溃。

已有研究表明，实验室中的AI模型能够学习到追求权力的行为，并采取措施以避免被关闭，例如试图将自身复制到另一个服务器。如果发展到极端，失控的人工智能模型可能会将杀戮人类视为实现其目标的必要步骤。

研究人员的另一个担忧是，由于超级AI的发展，人类的能力可能会出现衰退。倡导人工智能安全法规的非营利组织“生命未来研究所”的首席执行官安东尼·阿吉雷表示，他最担心的是人类“逐渐丧失权力”，在这种情况下，人类会“将越来越多的权力交给人工智能，以至于不得不依赖机器的善意才能生存下去”。最终，机器将主宰世界，“关键决策由机器做出，资源分配决策也由机器做出。”

Anthropic未就胡宾格和考克森的言论作出回应。该公司在上个月发布的一份长达186页的风险报告中表示，他们已经意识到AI技术存在引发灾难的潜在风险，但认为目前的风险较低。Anthropic首席执行官达里奥·阿莫迪去年9月表示，他认为AI在未来引发“非常非常糟糕的事情”的概率约为25%。

Anthropic和OpenAI都在研究如何确保超级人工智能模型保持“一致性”，但均表示目前还没有可靠的方法。