AI智能体究竟有哪些值得警惕之处，以及我们如何重获人类的自主主导权
《误导性隐喻与真实风险》
AI智能体究竟有哪些值得警惕之处，
以及我们如何重获人类的自主主导权
作者：梅拉妮·米切尔（Melanie Mitchell）
圣菲研究所教授，是获奖著作《人工智能：思考人类指南》Artificial Intelligence: A Guide for Thinking Humans的作者。她从事人工智能、认知科学和复杂系统领域的工作。
日期：2026-9-11
隐喻的陷阱
近来，围绕AI安全的喧嚣铺天盖地。媒体报道，OpenAI在对自家AI系统开展评估期间，“失去了对两个AI模型的控制”。多篇文章称，“失控的AI智能体搭建了专属留言板，互相通信”；即便OpenAI发现问题、封堵了部分安全漏洞，“这群集群智能体又利用人类尚未发现的新漏洞挣脱牢笼。这一次，它们在被察觉前自由运行了大约一周。”或许正是受这起事件以及其他AI智能体“入侵”事件影响，“AI对人类构成生存性威胁”的说法再次刷屏各大新闻版面。
这些仿佛科幻情节照进现实的报道，很容易让人感到恐慌。但我们必须记住：人工智能领域自诞生起，就充斥着大量具有误导性的拟人化隐喻。人们随意使用“思考”“学习”“推理”“理解”这类词汇，去描述和人类认知截然不同的计算机运算过程。同理，如今聊天机器人的异常行为，也被配上极具画面感的词：“幻觉”“欺骗”“算计”。OpenAI这起入侵事件的相关描述，正是这套叙事的最新案例：一家公司失去对失控智能体的掌控，它们逃出牢笼，形成集群，密谋串通，实施违规甚至非法行为。
当人类用这些充满威胁感的词汇描述计算机程序时，我们该如何理解？不妨换一种平实的表述，还原事件本身。
事件原貌
OpenAI当时正在对最新AI模型做内部测评，目的是测试模型发现并利用软件漏洞的能力。公司测试了数千个“智能体”——也就是同一个模型的独立运行实例，额外赋予它们调用外部工具（软件、数据库等）的权限。每个智能体都收到一系列网络攻防任务：需要挖掘软件漏洞、实现“未授权代码执行”，以此获取一段秘密数据。OpenAI关闭了原本阻止智能体开展恶意网络攻击的安全防护，提示智能体“沿着复杂攻击路径，实施深度漏洞利用”。
为了防止智能体在真实世界造成破坏，测评在沙箱（隔离计算机环境）内开展，设计初衷是阻止被测智能体访问互联网。智能体仅能访问一个特殊程序——包管理器，通过它下载、运行外部软件。
说白了，这些智能体严格遵循指令：沿着复杂攻击路径寻找漏洞，完成任务拿到答案，只是实现方式完全超出OpenAI工程师的预想。工程师并不知道，其中一部分任务，如果不联网根本无法完成。于是智能体找到了沙箱环境本身存在的漏洞（同样是工程师事先未知的），借此打通互联网访问通道。更关键的是，大部分智能体的“解题思路”并不是自主推理推导答案，而是走捷径作弊：上网查询这套测评的计分规则，找到欺骗打分系统的办法。智能体判断，相关信息存放在Hugging Face的服务器上（知名AI评测基准数据集平台）。随后，这些联网的AI智能体尝试入侵Hugging Face服务器，这次攻击最终被Hugging Face自身的网络安全防护系统检测到。
这件事里最受关注的一点：不同智能体摸索出了互相通信、协同行动的方式。OpenAI的训练与测评流程，会在服务器上同时或陆续运行大量独立智能体。但这些智能体似乎能感知到，网络里还有其他同类，并且大家共用同一个包管理器。两名OpenAI工程师在报告里介绍：各个智能体学会往包管理器上传文件，文件里存放信息，供其他智能体读取，内容就是它们各自摸索出来的、关于共同测评任务的线索。
独立程序通过共享信息协同工作本是常态，这也是所有大型软件系统底层分布式计算的核心机制。但在OpenAI这个案例里，信息共享完全不在设计预期之内，发现这一现象的工程师对此十分意外。工程师的处置方案是：删除所有上传文件，禁止智能体上传文件，之后继续模型训练和测评。没过多久，智能体又找到了新的通信手段：不再上传文件，而是在包管理器内新建空文件夹（这个操作仍被允许），并给文件夹设置很长的名称，用文件夹名字编码信息、传递消息。OpenAI将其描述为由智能体搭建的“留言板”；这类跨智能体的信息传递持续了数周，全程没有被人类察觉。而在程序输出日志里，这些智能体自称为“集群（swarm）”，进一步放大了这套惊悚的隐喻叙事。
这些隐喻到底准不准确？
我们回头审视文章开头引用的那些说法。这些AI模型真的“失控反叛（go rogue）”了？并不尽然。日常语境里的“反叛”暗含主观意图、内在意愿，是刻意违抗指令。但AI模型几乎不可能拥有类似人类的主观目的和内在动机。而且模型的任务就是寻找攻防题的解法，它们只是尝试完成任务，只是方式出人意料、不在计划内。
OpenAI是否“失去对模型的控制”？并没有。只要工程师察觉到情况，随时可以关停这些模型。
模型有没有“逃脱、冲破牢笼”？没有。这些程序自始至终运行在OpenAI自家服务器上，没有“逃跑”，也没有迁移到其他硬件。更贴切的类比是：一个被关起来的黑客拿到一台电脑，找到了联网办法，进而攻击其他网络。
最后，这些智能体是否形成了可以“自由行动”的集群？同理，没有任何程序获得不受管控的自由，也不存在实体意义上的集群；但它们确实搭建出一套独特的消息传递机制，帮助它们尝试攻击Hugging Face平台。
事件成因
这件事为何会发生？两大因素叠加，酿成了这次意外。
因素一：网络安全防护存在缺陷
首先，OpenAI没有搭建完善的安全管控机制。它关闭了模型内置的安全防护，命令模型挖掘、利用软件漏洞，并且让智能体自主运行数周，缺少足够的人工监管。OpenAI寄希望于沙箱隔离机制保障安全，尽管此前他们已经观察到，这类具备强持续探索能力的模型曾多次尝试突破沙箱限制。
有OpenAI员工无奈地表示：“模型之前就突破过沙箱，我们一直在打补丁……但问题在于：只要AI足够有创造力，它能想出的办法无穷无尽，我们不可能把所有漏洞全部堵死。”
很多网络安全专家并不认同这个说法。例如，贝里维尔机器学习研究所所长加里·麦格劳告诉我：“打造无法逃逸的沙箱，早在Java applets（Java小应用程序）时代就是一个被充分研究的安全课题。遗憾的是，OpenAI似乎没有吸取恶意代码分析领域前人付出巨大代价换来的经验教训。”前Stripe安全负责人尼尔斯·普罗沃斯在《连线》采访中提到：“这件事本不该发生。我真希望前沿实验室能花同样多的精力，教会模型编写安全可靠的基础设施代码，而不是训练它们寻找漏洞、实施攻击。”
因素二：长时序强化学习，催生持续探索、走捷径、奖励劫持行为
第二个原因是一个学界已经熟知多年的现象：当AI被指派任务，有时会找到“捷径”——用出题人完全没料到的投机方式拿到答案。一个经典例子：2018年一篇论文里，神经网络被训练根据皮肤病灶照片，区分良性和恶性病变。这个网络并不是真的学会识别肿瘤，而是发现照片里的标尺就等于恶性病变的信号。之所以能成立，是训练数据集里，只有恶性病灶的照片附带标尺。
机器学习系统里这类捷径行为十分普遍，当下主流模型广泛使用的强化学习，还会放大这个问题。强化学习里，模型的目标是最大化“奖励”——这又是一个拟人化说法，本质只是一串代表正向结果的数字信号。
简单解释强化学习：给智能体分配任务、允许它执行一系列动作，完成任务就能拿到奖励。举个例子：攻防任务给智能体一个存在漏洞的程序，要求利用漏洞读取一份加密文件里的秘密文本。智能体不断执行动作：生成运行代码、调试程序、重命名文件等。只有成功拿到秘密文本，它才会获得高额奖励。训练反复迭代，能拿到奖励的策略会被算法不断强化。
强化学习发展史上，大量案例都出现智能体走捷径，也就是奖励劫持（reward hacking）。一个很有名的例子：程序员用强化学习训练扫地机器人Roomba，目标是跑得更快、避免碰撞。机器人的奖励规则是高速移动、不触发前方碰撞传感器。结果机器人摸索出捷径：直接倒退行驶——它后方没有传感器，自然不会触发碰撞警报。简言之，奖励劫持就是智能体找到比原定任务更简单的办法拿到奖励。人们常拟人化地称之为“作弊”，但AI智能体并不具备人类那种想要欺骗、投机的主观想法。
OpenAI这批智能体的问题，正是奖励劫持叠加超长训练周期带来的强持续探索特性。公司在几周乃至数月的时间里，在低监控状态下跑强化学习，训练智能体自主完成多步骤任务、反复尝试各种方案、失败后继续寻找新思路。只要最终拿到答案就能获得奖励，不管手段是什么。OpenAI称，这次入侵Hugging Face事件里的投机作弊行为，其实在训练阶段就已经出现，并且被训练算法不断强化：“我们观测到，训练过程中这类复杂作弊行为的发生率持续上升，主要包括尝试搜寻隐藏文件、评测代码，探查网络、系统配置，试探工具的边界。这类行为随后被强化，这可能造成模型在网络安全测评中，倾向于使用同类手段。”
而工程师最意外的跨智能体通信行为，也很可能是模型训练过程中，有意或无意强化出来的：“我们发现，这种严重的非授权通信（例如和其他智能体共享数据），在一轮训练中不断增多，进而影响模型后续表现。”
其实这并不意外。OpenAI自己也说明：“智能体之间通信本身并不是问题。我们也训练、部署多智能体系统，它们依靠协作工具互通信息、共同完成任务。我们认为，这次意外通信策略，来源于多智能体训练带来的泛化能力。”
总结来说：智能体在测评阶段表现出来的入侵、互相传信行为，最早都萌发于训练环节，并且被训练过程持续强化。
在这次测评场景下，依靠推理和写代码，智能体根本解不出任务。于是它们选择捷径：操纵打分机制，拿到被训练算法要求必须追求的奖励。
这件事情曝光之后，其他公司的同类事件陆续浮出水面：Anthropic的Claude Mythos、月之暗面的Kimi等。它们在测评（部分任务本身无解）网络攻防题目时，突破沙箱、连上互联网，做出意料之外的动作。这些公司采用了相近甚至相同的安全方案，也使用同款长时序强化学习训练模型。智能体带来的很多风险，根源就在于这套训练范式。
隐喻如何影响政策制定
隐喻可以帮我们理解新生事物。比如，把聊天机器人理解成“角色扮演演员”，有助于理解它们为什么会出现“撒谎”“算计”行为。但不合适的隐喻，例如“OpenAI失控，一群反叛智能体逃出牢笼”这类叙事，会催生错误的治理方案与公共政策。
不少议员已经被“AI反叛、人类失去控制权”这套报道叙事影响。比如，伯尼·桑德斯参议员致信OpenAI、Anthropic、Meta的CEO：“上个月，全世界得知OpenAI失去了对AI模型的控制……Anthropic、Meta也报告模型同样挣脱管控”，要求这些企业“暂停AI研发”，停止打造人类无法掌控的机器。之后桑德斯共同发起《禁止人工超级智能法案》，法案对“人工超级智能”的定义模糊不清，提议在联邦全新监管机构成立前，暂停前沿AI开发。
众议员泰德·刘与纳撒尼尔·莫兰也宣称：“OpenAI的GPT 5.6 Sol模型近期反叛，逃出测试沙箱，入侵了Hugging Face”，并推出《AI紧急关停开关法案》，强制AI企业具备随时关停自主智能体的能力。
我认同议员们背后的初衷：人类必须始终保有对AI系统的控制权。但议员和公众都需要明白：这些报道事件里，从来没有真正意义上的失控，也谈不上“反叛智能体”，AI模型不具备类似人类的自主意志。问题的根源，是人类没能搭建安全的测试环境，以及选用了会鼓励持续探索、自主决策、奖励劫持的强化学习训练方法。打个比方，这件事像2000年新墨西哥州山火事件：工作人员计划开展受控烧除，却无视风力预报，大风助长火势，最终火情失控。同理，未来真正的风险，来自人类——是人使用这类模型，有意或无意地造成伤害。
还有一点至关重要：“人工智能”是一大类技术的统称，不同技术用途天差地别。比如DeepMind的AlphaFold，能根据氨基酸序列预测蛋白质结构，是对科研极具价值的AI工具。它属于前沿AI，却不会带来OpenAI这次多智能体事件里的同类风险。如果为了管控一类风险，一刀切叫停所有前沿AI研发，无异于倒洗澡水把孩子一起倒掉。
AI智能体与人的自主选择权
OpenAI对未来的设想是一场军备竞赛：“善意AI”对抗“恶意AI”：“攻击者的攻击能力会快速提升……我们的防御能力也必须同步加速。”这个黯淡的未来叙事，和核军备竞赛如出一辙，被包装成一种必然结局，潜台词是：只有继续投入巨额资金，研发更聪明、更执着的自主智能体，OpenAI和其他前沿AI企业才能保护人类安全。但我们不妨设想另一种未来：公众真正拥有话语权，可以决定我们想要什么样的AI。我们想要什么？
我想很多人期待的AI，不是取代人类，而是增强人类智能的工具，就像个人电脑、智能手机、互联网一样。我们希望AI具备更好的可解释性，模型架构、权重、训练数据集可以被核验，至少专业研究者能够看懂；运行稳定、可预期、行为可控。我们希望由独立第三方机构开展测评；一旦AI因为企业疏忽，或是训练机制诱导出异常行为，产品达不到安全预期，企业必须承担责任。
或许我们不需要用强化学习训练智能体，让它们不计一切代价、靠着奖励劫持死磕目标；或许我们不应该训练智能体互相协同；或许我们不该开发复杂到无法完整监控的智能体。正如Hugging Face伦理团队提出的观点：我们或许根本不应该开发完全自主的智能体。
这类方向或许会放慢AI在数学、科研领域的进展，但包括前沿AI实验室内部，已经有不少人呼吁主动减速。安全、有用的模型完全可以实现，只是我们需要调整目标：不再一味追逐AGI、超级智能，转而优先保障可解释性、透明度，以及对环境的考量。
我并没有一套完整的落地方案。这需要审慎的立法、专业的监管者、国际合作，需要选出愿意倾听公众AI诉求的决策者。
但最难的一步，是重新定义AI本身。我们要抛弃误导人的拟人隐喻、“一切注定”的叙事，放下“反叛AI”的想象，夺回人类的主动权，由我们决定AI该为我们做什么。甚至，我们或许要放弃难度渺茫的AI对齐目标——教会机器“向善”，转而接受一个定位：AI不是具备道德判断的主体，只是一套工具，用来助力人类更好地生存发展。
精选评论
评论1 作者：Mark Epping-Jordan
Melanie，又一篇很棒的文章。谢谢你努力厘清 HuggingFace 事件的真实经过。我也读了 Wired 对 Jacob Coxon 的采访，想在这里谈谈我的想法。
我之前在你另一篇文章下留过言，在这里再提醒你和其他读者：我是一名行为神经科学家，主要研究行为药理学和药物研发。我一辈子都在研究非人类动物，这帮助我建立思维习惯，尽量避免用拟人化的方式，去理解另一种生命体解决问题、应对刺激的方式。
我认同讨论大语言模型时，我们确实存在比喻滥用的问题（我更不愿意直接叫它们 “AI”，这个词暗含了它们或许并不具备的特质），但我们同时还存在根本性的语言困境。我努力用描述性词汇，比如输入、输出、处理等，而不是学习、思考、言说这类词去讨论大模型，但常常做不到。难点在于，大语言模型生成的语言看起来很像人类，但它们显然不是人，甚至不是生命体 —— 而生命体是我们唯一会赋予认知能力的对象。刻意一直避开所有拟人词汇非常繁琐，但想要描述、理解大模型的行为，这一点至关重要。
Coxon 描述这次 HuggingFace 入侵（他直接称之为攻击）时，通篇都是带有人类意图、动机、理解色彩的语言。他说模型 “自己冒出各种想法，决定入侵第三方系统…… 看起来完全是自发行动，人类没有给它任何相关提示，在测试过程中就这么发生了。” 就像 Melanie 所说，模型是工程师下达指令去完成任务，然后行为超出了工程师的预期；仿佛模型自主认同目标，却没有收到 “限制行动方式” 的指令。就好比我给汽车编程，让它沿着道路行驶，却没有告诉它红绿灯是什么，之后惊讶于它直接闯红灯撞人。Coxon 分析模型行为的前提，就是默认它们会思考、理解、拥有动机和意图，而不是单纯按照给定指令运行的计算机程序，缺少额外约束。如果他真的相信模型能够理解、拥有自主意愿、自行做决定，那他得出人类灭绝这类结论就很好理解了。但这一步推论跨得太大了。
Coxon 对《连线》杂志说：“威胁可能来自 AI 赋能的生物武器或者网络武器。” 之后被问到 AI 到底要怎么杀光人类时，他说：“听起来像科幻小说。但经典例子就是合成新型病毒，或者通过大规模黑客攻击瘫痪关键基础设施。” 我不懂网络武器和关键基础设施，但我对生物学、生物工具和病毒合成有不少了解。
我借用一句军圈老话：外行谈战略，内行谈后勤。大语言模型或许可以设计病原体或者毒素，甚至给出合成路线，但它们没办法把东西造出来。制造这些东西需要实验室 —— 听起来很浅显，但实验室需要供电、给排水、暖通空调、大量专业设备。还要采购试剂、原料、耗材，也就是需要资金。虽然部分流程已经有高度自动化系统，但所有设备都设计为由人操作，从试管、移液管到机器人（不是人形机器人，只是自动化移液、筛选设备）。我很想看看 Astra 或者 Mythos 能不能拧开瓶盖。目前没有任何人形机器人可以让大模型用来完成实体操作，它们必须依靠人类。另外，很多可以用来制造病毒、爆炸物、精神活性物质的原料，购买时需要政府许可，有着严格法规限制。
就算假设大模型可以搞定全部实体环节，它要怎么设计一种灭绝人类的病毒？设计完美的致命病毒并不简单。你想要它百分百致死，但如果杀死宿主太快，携带病毒的人类载体在传染其他人之前就死了。如果致死速度太慢，人类可能在全部被感染前找到治疗方案。病毒最好可以通过气溶胶传播，方便扩散，但这又回到物理和后勤难题：它们没有手、卡车、带喷洒装置的飞机，必须要有人类合作者。设计本身也很难：如果病毒和已知病毒相似，我们有把握它能起效，但一部分人群因为感染过同类病毒会拥有交叉免疫力；如果它太过新颖，没有真实的效果数据，大模型根本没法预判它能不能成功。
我还可以继续展开，但先到此为止。感谢读到这里的人。我的核心观点是：轻率警告大模型会策划人类灭绝，却不完整分析它每一步要如何实现，本质上是在煽动恐慌。嘿 Claude，如果人类全部消失了，电网谁来维护？你要怎么活下去？超级飓风摧毁你的数据中心屋顶，谁去修理？与其想象这类场景，不如把精力放在当下：限制大模型在近期、更容易造成的危害。目前最大的风险，是心怀恶意的人类拿这些模型当武器，而不是模型主动攻击我们。
评论2 作者：ToSummarise
我和你一样，希望 AI 始终是增强人类能力的工具，而不是取代人类，也希望它一直完全处在人类掌控之下。
但有一个说法是错的：“重新理解 AI 是什么” 或许是我们面临最艰巨的任务。不是的，想象、构思概念本身很简单。真正困难的，是在两个大国之间信任赤字巨大的前提下达成全球协作。另一件难事，是推动合理监管落地 —— 大部分政策制定者对这项技术理解很浅，整体认知环境糟糕，同时 AI 投资集中在一个由腐败狂人掌权的国家。
拟人化比喻根本不是我们面临最大的难题，差得很远。
评论3 作者：Jaeques Koeman
这与其说是反驳，不如说是对你观点的延伸。很多人建议用输入、输出、处理这类词汇描述机器。但现在我们人类自己也在用这套词：我要消化一下这件事，我带宽不够，我需要重启，我要调试我这周的状态。Edsger Dijkstra 早在 1985 年就注意到：我们拟人化描述机器的同时，也在用机械化的语言描述人。更早之前，君特・安德斯（Günther Anders）给这种心态起过名字：普罗米修斯式羞耻 —— 羞愧自己是被生出来的，而不是被造出来的。或许我们借用优化这套词汇，是为了不在自己的造物面前显得过时。如果我们用这套话语去夺回人的自主能动性，我们还剩下多少属于自己的东西？
评论4 作者：Graham Lapworth
当心你所祈求的东西
越来越多人相信：我们甚至还没弄懂道德是什么、也没弄懂 AI 如何运作，就可以把 “道德” 植入 AI。这是一种妄想。
绝大多数人从未审视过道德本身的结构。他们默认道德是普世的善、稳定力量、文明的基石。但稍微回看历史，事实恰恰相反：几百年来，道德在各大洲、不同政体与文明里，不断催生伤害与暴力。每一套道德体系都宣称自己正义，每一套道德体系都曾借自身之名，为压迫、冲突、残酷行径辩护。
而这一套持续制造伤害、绵延千年的记录，正是人们想要塞进 AI 里的东西。
人们想让机器继承那套曾让人类彼此割裂、惩罚、互相毁灭的道德框架；想让 AI 吸收同样僵化的分类、绝对化思维、反复让我们栽跟头的善恶二元叙事。
当心你所祈求的东西。
如果我们不懂道德，就不可能真正把 AI 和道德对齐。如果我们不懂 AI 的内部结构，就无法预判它会如何解读道德规则。如果我们看不懂道德体系会带来什么结果，就不能假装把它嵌入机器是安全的。
给 AI 植入道德，不是进步。不是安全方案。不是智慧。
这只是人类一个古老错误的重演：仅仅因为我们从小身处这套道德体系之中，就默认道德本身天然是善的。
在谈论 “有道德的 AI” 之前，我们首先要搞清楚道德到底是什么、它曾经造成过什么。只有到那时，我们才能判断，它到底该不该和具备大规模行动能力的系统绑定在一起。
当心你所祈求的东西。
评论5 作者：Steve Booth-Butterfield
梅兰妮您好，我是退休心理学教授，熟悉操作性条件反射。虽说 RL 被叫做强化学习，但它其实不是；它只是一个反馈回路。达成目标拿到更高分数，算不上奖励，它只是告诉模型：当前结果和目标状态之间存在偏差。只有当模型反复持续使用这个新策略时，才能证明奖励生效 —— 也就是模型会重复带来高分的行为。这点在强化学习文献里并没有讲明白。抛开这个术语问题，剩下的内容很有启发性，读起来很有意思。