50名学者抵制韩国研发自主意识武器，南大教授谈为何联署

如果人类研发智能武器，让其拥有了类似电影《终结者》中主角“天网”的意志，可以对人类进行肆意的杀戮，那我们该怎么办？

对于这个问题的答案，众多人工智能界的研究人员选择了抵制。近日，逾50名顶尖的人工智能研究员宣布，向韩国科学技术院发起抵制。此前，这家韩国一流大学和一家军工企业合作开设了人工智能实验室。发起抵制的研究员称，这是一所“AI武器实验室”。

除了抵制外，这场发生在人工智能界的事件，也引发了诸多讨论。4月9日，联合国《特定常规武器公约》政府专家小组还在瑞士日内瓦召开会议，预定讨论致命自主武器系统研发，也就是常说的“杀手机器人”可能带来的影响。

如何防止人工智能技术被滥用，如何进行约束，如果我们自己坚持不将人工智能军事化，但未来某一天我们的对手是否会迫使我们去做？在人工智能浪潮高速向前发展的当下，这些问题都急需解决。

作为此次事件中唯一一位签名抵制的内地学者，南京大学计算机系教授周志华在接受澎湃新闻（www.thepaper.cn)邮件采访时称：“AI用于军事是不可避免的事情，因为‘智能化’这个趋势是不可阻挡、不可逆转的，所有行业都必将被涉及。但是，AI用于军事本身未必是坏事，例如通过精确定位可能减少平民伤亡等等。我们反对的是把‘决定权’交给机器。绝对不能让机器自己去决定是否进行对人类的毁灭性打击。如果所有人都意识到这件事是一个潘多拉盒子，打开之后甚至会反噬打开它的人，那一切就会好得多。”

起因：无需人类控制的自主武器

今年2月份，韩国科学技术院（KAIST）和韩华系统公司开设了AI研究中心，后者是韩国两家集束炸弹制造商之一。这所大学表示，新的“国防和人工智能融合研究中心”（Research Centre for the Convergence of National Defence and Artificial Intelligence）将专注于利用人工智能命令和控制系统，对大型无人驾驶潜水器进行导航，以及利用人工智能进行智能飞行器训练，追踪和识别物体等。

这样的研究方向引发了全球人工智能领域顶尖学者的反对。包括蒙特利尔大学的Yoshua Bengio、多伦多大学的Geoffrey Hinton、瑞士人工智能实验室的Jürgen Schmidhuber、加州大学伯克利分校的Stuart Russell、香港中文大学的华云生教授、香港科技大学的杨瓞仁教授、南京大学的周志华教授等人，通过新南威尔士大学官网发出了一封公开信。

信中称，自主武器有可能成为恐怖分子的武器。暴君和恐怖分子可以利用它们对付无辜的人群，他们不会理会任何的道德限制。如果打开了这个潘多拉魔盒，将很难关闭。与过去禁用其他技术，例如禁用激光致盲武器（blinding lasers）一样，我们可以简单地决定不开发自主武器。我们敦促KAIST遵循这样的共识，致力于改善人们的生活，而不是伤害人的生命。

在公开信发布后，韩国科学技术院也即刻发表声明说，他们没有研发“致命自动武器系统或杀手机器人”的计划。韩国科学技术院校长Sung-Chul Shin表示，该校“相当清楚”人工智能的伦理问题，他“再次重申，韩国科学技术院不会从事任何与人类尊严相违背的研究活动，包括无需人类控制的自主化武器。”

概念：自主武器和强人工智能

尽管韩国科学技术院最后澄清了不会研发无需人类控制的自主化武器，但在人工智能领域，自主化武器，以及它所涉及的强人工智能概念已经由来已久。

据周志华介绍，在人工智能领域，长期存在两种不同的目标或者理念。一种是希望借鉴人类的智能行为，研制出更好的工具以减轻人类智力劳动，一般称为“弱人工智能”，类似于“高级仿生学”。另一种是希望研制出达到甚至超越人类智慧水平的人造物，具有心智和意识、能根据自己的意图开展行动，一般称为“强人工智能”，实则可谓“人造智能”。

“近年来，科学界一般所说的人工智能是弱人工智能，希望借鉴人类的智能行为，研制出更好的工具以减轻人类智力劳动。”周志华告诉澎湃新闻。

强人工智能和弱人工智能的区别在于：首先，强人工智能希望“全面”达到甚至超越人类的智能，而弱人工智能没有这个要求。第二，强人工智能希望其产物具有“自主意识”，而弱人工智能认为完全不需要、也不应该去考虑让产物具有“自主意识”。

举例来说，人类看到鸟在天上飞，非常羡慕，于是受鸟的启发造出飞机这个工具来能帮人飞上天。这就是弱人工智能认为的目的就达到了。相对的，强人工智能则认为这不够，人类需要的是全面具备鸟的能力，例如鸟下蛋的能力人类也要有，另外这个飞机还应该有自主意识，它可以根据自己的意愿决定该往哪儿飞。换句话说，弱人工智能的目的是为了制造“智能工具”，而强人工智能的目的是“人造智能”。

如果将智能工具替换成具有自主意识，且能对人造成杀伤性影响的武器，那后果可能就不堪设想。周志华向澎湃新闻强调，“自主武器”跟一般意义上的智能武器有本质的区别。智能武器早就有，例如带自动瞄准装置、导弹定位系统的武器等等，但是这些武器最终做决定的都是人类。而自主武器，是要把这个“决定权”交给机器，让机器自己去决定是否进行对人类的毁灭性打击，这就太危险了。

为什么这些大咖都要反对自主AI

在过去60几年的人工智能发展中，人工智能技术现在所取得的进展和成功，应该归功于弱人工智能而不是强人工智能的研究。国际人工智能联合会前主席、牛津大学计算机系主任迈克尔·伍德里奇(Michael Wooldrige)曾在CCF-GAIR 大会报告中称：强人工智能“几乎没有进展”，甚至“几乎没有严肃的活动”(little progress, little serious activity)。

周志华称，事实上，人工智能国际主流学界所持的目标是弱人工智能，也少有人致力于强人工智能。这么做的原因并不是因为强人工智能太难，大家不得不退而求其次，而是，在大多数人工智能研究者看来，强人工智能不能做，也不该做。

除了科学界对强人工智能的反对和抵制外，业界也有不少大咖对人工智能发展带来的威胁一再提出警示。马斯克就是其中的要员之一。自2014年开始，这位硅谷“钢铁侠”就多次在不同场合表达了自己的观点。他认为，人工智能比核武器更危险。并称全球人工智能竞赛可能导致第三次世界大战。这位企业家还表示，新兴技术可能会给世界带来更大的风险。

在硅谷近期推出的人工智能纪录片《你信任这台电脑吗？》中，马斯克、前百度首席科学家吴恩达、《西部世界》的编剧乔纳森·诺兰、未来学家Ray Kurzweil以及Sebastian Thrun等纷纷出镜，共同聊到了人工智能成为独裁者的问题，以及谈到人类究竟应该信任这些机器到什么程度？

马斯克的做法是人类应该加强防范。为此，他和英国著名物理学家霍金，人工智能防范联盟，主张在危险到来之前就加以控制。DeepMind创始人戴密斯·哈萨比斯(Demis Hassabis)也主张用道德和规则约束人工智能的发展，他的公司内部还成立了人工智能道德委员会。

在周志华看来，强人工智能是具有自主意识、不受人类控制的。我们没法保障它不做出损害人类甚至毁灭人类的事情。主流人工智能科学界所研究的人工智能是弱人工智能，是在做智能工具，工具不存在自己“变坏”。好比说菜刀是一种工具，它自己并不会“变坏”，但是在坏人手上可能就成为凶器了，要防范的是坏人，不是菜刀。