专访递归神经网络之父:AI下一轮革命核心是“人工好奇心”

澎湃新闻记者 张唯
2019-08-28 14:37
来源:澎湃新闻

“通过在小行星带及其以外的无数自复制机器人工厂,人工智能将改变太阳系,然后在数十万年内改变整个银河系,并在数百亿年内改变可达宇宙的剩余部分,只有光速的限制能够阻止。”

“宇宙依然年轻,它还会比现在老很多倍。我们应该还有大量的时间去扩展人工智能的领域来实现并转换它的所有内容。展望未来,宇宙将比现在老一千倍,然后,宇宙回首过去,说:‘几乎就在大爆炸之后,就在140亿年之后,整个宇宙开始变得智能化。’”

“人类在宇宙的智慧传播方面不会发挥重要作用。但没关系。不要将人类视为创造的王冠。相反,将人类文明视为更宏伟计划的一部分,这是宇宙走向更高复杂性的重要步骤(但不是最后一步)。现在,它似乎已准备好迈出下一步,这一步与35亿年前的生命发明本身相当。”

以上三段话不是科幻电影的台词,也不是科幻小说的描述,是人工智能递归神经网络之父、德国计算机科学家尤尔根·施米德胡贝在参加2019世界人工智能大会之际接受澎湃新闻(www.thepaper.cn)专访时,对人工智能的预测。

尤尔根·施米德胡贝(Jürgen Schmidhuber),受访者提供

在人工智能领域,德国计算机科学家尤尔根·施米德胡贝(Jürgen Schmidhuber)是一个颇具争议性的存在。《纽约时报》曾称他是人工智能研究领域的 Rodney Dangerfield (一位美国喜剧演员,1980年代以一句“没人尊重我”而知名),他认为自己在人工智能领域的开拓性研究没有得到重视。

施米德胡贝在1997年提出了长短期记忆人工神经网络(Long-Short Term Memory, LSTM),为神经网络提供了一种记忆形式,改善了准确度。但由于当时计算机算力的限制,直到近几年,LSTM的概念才开始普及。目前,LSTM已被广泛地使用于Facebook的自动翻译、谷歌的语音识别、苹果的Siri以及亚马逊的Alexa。在无监督的对抗性网络、人工好奇和元学习机器领域,施米德胡贝也做出了不小贡献。他所在的实验室培养出了阿尔法狗团队四位创始成员中的两人。

除了对学术成果受关注度的不满,施米德胡贝还时常因听似夸张的言论受到批评,部分科学家认为他对技术进步速度的乐观是毫无依据的。

受科幻小说的启发,从15岁开始,施米德胡贝的主要目标是建立一个比他更聪明且能自我完善的人工智能,然后退休。目前,他是瑞士人工智能公司NNAISENSE的联合创始人和首席科学家,在那里,他希望打造第一个实用的通用人工智能。

施米德胡贝还担任瑞士IDSI人工智能实验室科学主任,瑞士USI&SUPSI大学人工智能教授。

他对澎湃新闻(www.thepaper.cn)记者表示,人工好奇心(Artificial curiosity)将成为下一轮人工智能的核心,智能机器人主要从自己发明的实验中学习,偶尔才向人类学习。

当前,机器人的智慧仍然比不上儿童、甚至某些小动物。但施米德胡贝在采访中说,在不到几年的时间里,我们将能够构建一个人工智能,使其逐渐变得至少像小动物一样聪明,具有好奇心和创造性,并持续地学习如何计划和推理,以非常普适的方式将各种问题分解为可快速解决(或已经解决)的子问题。

“一旦我们拥有动物级人工智能,几年或几十年后,我们就可能会拥有人类级人工智能,届时所有文明都将发生变化,每一个事物都将发生变化。”

尤尔根·施米德胡贝(Jürgen Schmidhuber),受访者提供

“机器将从自己发明的实验中学习,偶尔才向人类学习”

澎湃新闻:你对人工智能的定义是什么?

Jürgen Schmidhuber:人工智能是一门自动解决问题的科学,特别是用自动学习地方式解决以前未解决的问题。

澎湃新闻:你的另一个兴趣是无监督学习(在不提供监督信息即预测量的真实值的条件下进行学习),近期这一领域有什么新发展?

Jürgen Schmidhuber:目前的商业应用主要集中在监督学习上,它使人工神经网络模仿人类老师。在许多实验过程中,Linnainmaa在1970年提出的方法(今天通常称为反向传播)被用来逐步削弱某些神经连接并加强其他神经连接,使得网络的行为越来越像老师。通过这种方法,我们的LSTM神经网络学会了在数十亿台智能手机上为世界上最有价值的公司进行语音识别和自动翻译。但问题是人类老师需要提供所有的训练数据。

婴儿在没有老师的情况下就能学到很多东西。当他们与世界互动时,他们学习预测其行动的后果。他们还有好奇心,会用玩具设计实验,从中获得新的数据,了解更多信息。

为了构建具有好奇心的智能体,我在1990年引入了一种新型的主动无监督学习。它基于一个最大最小值博弈,其中一个神经网络最小化一个目标函数,而这个目标函数却被另一个网络最大化。那么它具体是怎么工作的呢?第一个网络称为控制器,它生成可能影响环境的输出。第二个网络称为世界模型,它预测环境对控制器输出的反应。世界模型的目标是最小化其误差,从而成为更好的预测器。但在零和博弈中,控制器试图找到最大化世界模型误差的输出。也就是说,控制器想要找到某种新的实验,这种实验可以生成世界模型仍不熟悉的数据,直到这些数据对世界模型来说非常熟悉。如今,在算力比1990年便宜了一百万倍的情况下,我们使用这一简单原则的复杂变式来构建无监督的机器人,这些机器人为自己设定目标,从而在这个过程中能够解决越来越普适的问题。

澎湃新闻:无监督学习的成熟将对人类产生什么影响?

Jürgen Schmidhuber:人工好奇心(Artificial curiosity)将成为下一轮人工智能(有时称为“第四次工业革命”)的核心,这次革命中,智能机器人和其他机器将通过自己的行动来塑造他们的数据。他们将主要从自己发明的实验中学习,偶尔才向人类学习。

目前还没有出现,但在不久的将来,我们将会有我曾在访谈中提到的“展示和告知机器人”、“观察和学习机器人”或“观察和行动机器人”——人类快速地向一个复杂机器人展示如何执行复杂任务,例如只通过智能手机进行视觉演示和对话,不需要触摸或直接指导机器人,整个过程就像我们教育孩子一样。

下一轮人工智能将更广泛地影响经济;现在的人工智能浪潮主要涉及营销和广告,以智能手机被动模式识别的方式。当前的被动人工智能分析你的言辞、面部、偏见和阅读偏好等,以预测你接下来可能对哪些文章感兴趣,让你在平台上停留更长时间,让你点击更多广告等。当然,参与当前人工智能浪潮的公司(亚马逊、阿里巴巴、Facebook、腾讯、谷歌等)是目前最有价值的公司,但营销和销售广告只是世界经济的一小部分,下一轮人工智能浪潮将会波及更广,影响所有工业生产。

“整个宇宙开始变得智能化”

澎湃新闻:在更遥远的将来会发生什么?

Jürgen Schmidhuber:从长期来看,为自己设定目标的AI将尝试进一步改进自己,主要使用我们自1987年以来发布的元学习方法。他们将学习改进自己的学习程序,并推开自己的局限性。

他们具体会做什么呢?太空对人类是敌视的,但对设计合理的机器人是友好的,它提供的物理资源比我们的生物圈要多得多,我们的生物圈接收了不到十亿分之一的太阳光。虽然有些好奇的人工智能仍然会对生活着迷,但至少只要他们不完全理解它,大多数人工智能就会对太空中不可思议的新机遇更感兴趣。通过在小行星带及其以外的无数自复制机器人工厂,人工智能将改变太阳系,然后在数十万年内改变整个银河系,并在数百亿年内改变可达宇宙的剩余部分,只有光速的限制能够阻止。(人工智能或其部分部件很可能通过无线电从发射器传输到接收器,但将其安装到位需要相当长的时间。)

这与20世纪科幻小说中描述银河帝国和智慧人工智能的场景截然不同。小说的大多数情节都是以人为中心的,因而不切实际。例如,为了实现银河系的长距离和人类寿命的兼容,科幻小说作者发明了物理上不可能的技术,如扭曲驱动器。然而,不断发展的人工智能领域在物理速度限制方面不会有任何问题。

宇宙依然年轻,它还会比现在老很多倍。我们应该还有大量的时间去扩展人工智能的领域来实现并转换它的所有内容。展望未来,宇宙将比现在老一千倍,然后,宇宙回首过去,说:“几乎就在大爆炸之后,就在140亿年之后,整个宇宙开始变得智能化。"

当然,人类在宇宙的智慧传播方面不会发挥重要作用。但没关系。不要将人类视为创造的王冠。相反,将人类文明视为更宏伟计划的一部分,这是宇宙走向更高复杂性的重要步骤(但不是最后一步)。现在,它似乎已准备好迈出下一步,这一步与35亿年前的生命发明本身相当。

这不仅仅是另一场工业革命。这是超越人类乃至生物学的新事物。我有幸见证了它的开始,并为它做出了一些贡献。

“人工通用智能的拼图碎片已经开始就位了”

澎湃新闻:人工智能作为一门学科和一个行业,近年来备受关注。你如何看待这种现象?以史为鉴,我们是否应该警惕另一个人工智能寒冬的可能性?

Jürgen Schmidhuber:我看不到另一个人工智能冬天的到来,因为人工智能已经在各地改善了生活,尽管许多人不知道这一点。例如,截至2016-2017年度,我们的LSTM已渗透到现代世界,占用了地球计算能力的很大一部分,使许多人的生活变得更加轻松,人们的生活已经离不开它。这正是即将到来的更大规模人工智能浪潮的高潮……

澎湃新闻:你如何预测人工通用智能(AGI)的发展?在此阶段阻碍AGI的因素有哪些?

Jürgen Schmidhuber:我们已经在21世纪早期的瑞士人工智能实验室中开发了数学上最优的通用人工智能和问题解决程序,例如Marcus Hutt针对所有定义明确的问题的最快算法,或者我的元学习、自引用、自我改进的Gödel Machine。这些系统在理论上是最优的,但还不够实用。这就是为什么我们仍在开展业务,努力弥合理论和实践之间的差距。我认为这一差距即将缩小;许多本质的见解已经存在,拼图的碎片已经开始就位了。

我认为许多进展将建立在两个相互作用的循环神经网络(RNN)的基础上。回想一下我刚才跟你说过的关于人工好奇心的事。其中一个RNN是一个控制器,它学习将输入的数据(如视频、音频、饥饿和疼痛信号)映射到一个能够最大化奖励且最小化疼痛的动作序列上,直到智能体的生命结束。另一个是一个世界模型,它去学习预测环境对动作序列的反应。前者可以利用后者来计划、思考和提高解决问题的能力。我们的第一个这样的系统可以追溯到1990年,但现在我们更清楚如何把它做得更好了。

除此之外,我们仍然受益于这样一个事实:每5年,同等价格可以获得的算力能提高大约10倍。与摩尔定律(Moore's Law)不同,摩尔定律(Moore's Law)认为每片微芯片的晶体管数量每18个月翻一番,且这一趋势最近被打破了。自从康拉德·祖斯(Konrad Zuse)于1935-1941年制造出第一台能用的程序控制计算机以来,这种趋势一直持续着。如今,75年后的今天,同等价格的硬件速度大约提升了一百万倍。如果这一趋势不被打破,很快我们将拥有廉价的,具有人类大脑的原始计算能力的设备。几十年后,计算设备将拥有100亿人的大脑计算能力。

“至少像小动物一样聪明”

澎湃新闻:在LSTM和GRU之后,RNN是否可能有一个新的主干网络结构?如果是这样的话,会有什么改进呢?

Jürgen Schmidhuber:尽管LSTM现在消耗了世界上大部分的计算能力,但是没有证据表明LSTM是最好的循环神经网络。(更不用说功能较弱的LSTM变体GRU,它是许多LSTM变体中的一个)事实上,在2009年,我们已经有了一个系统,它自动设计了类似LSTM的架构,至少在某些应用中优于普通的LSTM。这种“神经架构搜索”现在被广泛使用,也许我们可以开始期待下一个人工智能的重大突破是由人工智能本身产生的。

澎湃新闻:人工智能领域的下一个突破可能会发生在什么领域?当前人工智能落地应用的真正困难是什么?例如,机器翻译、阅读理解有哪些困难?

Jürgen Schmidhuber:目前,基于人工智能的翻译和阅读理解并不差。但现实世界中,机器人的人工智能比这个难得多,也比单纯棋盘游戏(国际象棋、围棋)或电子游戏(星际游戏、Dota游戏)的人工智能难得多。儿童、甚至某些小动物仍然比我们最好的自学机器人聪明得多。但我认为,在不到几年的时间里,我们将能够构建一个基于RNN的人工智能(RNNAI),使其逐渐变得至少像小动物一样聪明,具有好奇心和创造性,并持续地学习如何计划和推理,以非常普适的方式将各种问题分解为可快速解决(或已经解决)的子问题。

一旦达到了动物级的人工智能,迈向人类级人工智能的下一步可能就很小了:智能动物的进化需要数十亿年的时间,而人类进化的时间只有几百万年。技术进化比生物进化快得多,因为死端被清除得快得多。也就是说,一旦我们拥有动物级人工智能,几年或几十年后,我们可能会拥有人类级人工智能,具有真正的无限应用程序,每一项业务都将发生变化,所有文明都将发生变化,每一个事物都将发生变化。

“上海的努力给我留下了特别深刻的印象”

澎湃新闻:你如何看待中国在学术界和业界的人工智能发展情况?为什么决定参加世界人工智能大会?

Jürgen Schmidhuber:尽管人工智能和深度学习是上一个世纪在欧洲发明的,但中美两国目前在将人工智能转化为金融利润方面表现出色,特别是通过阿里巴巴和亚马逊、腾讯和Facebook、百度和Google等大型平台公司。

我对中国在人工智能领域取得领导地位的决心特别印象深刻。尽管瑞士在人工智能研究方面的人均引文影响仍居世界前列,但在绝对数字方面,中国现在是人工智能年产最多的国家。因此,我预计在不久的将来,我们将看到中国人工智能的显著发展。

上海的努力给我留下了特别深刻的印象。瑞士的经济规模与上海大致相当,然而,瑞士目前只向人工智能投资一小部分。我希望上海能明智地投资人工智能领域,然后我们将看到人工智能的突破源于上海。

    责任编辑:李跃群
    校对:张艳