橡胶手错觉实验探索类脑身体自我感知模型

2023-12-15 06:42

上海

原创 Cell Press CellPress细胞科学

交叉学科

Interdisciplinary

2023年12月8日，Cell Pess与中国科学家2022年度论文获奖者、中国科学院自动化研究所曾毅研究员带领课题组在Cell Press细胞出版社旗下期刊Patterns上发表了一篇题为“Brain-inspired bodily self-perception model for robot rubber hand illusion”的新研究。

他们基于猴子和人类的生物学研究结果，提出类脑身体自我感知模型，该模型可以复现多种橡胶手错觉实验。实验结果表明，该模型不仅可以在行为和神经元尺度复现人类和猴子在生物学实验中的结果，而且可以在神经元尺度合理地解释橡胶手错觉产生的原因和结果。该模型有助于揭示橡胶手错觉背后的计算机制和生物机制，并最终为进一步探索具身智能和身体自我意识的人工智能实现奠定坚实的基础。

▲长按图片识别二维码阅读原文

研究亮点

· 基于猴子和人类的生物学研究结果，我们提出并构建了类脑身体自我感知模型

· 相较于其他模型，该模型更具生物合理性和生物可解释性

· 该模型可以复现六种橡胶手错觉实验以及一个失能实验

· 该模型有助于揭示橡胶手错觉的计算机制和神经机制并为类脑智能提供启发

论文简介

身体自我意识的核心是对自己身体所有权的感知。近年来，为了更深入地了解大脑如何编码身体所有权，研究者试图从预测编码和贝叶斯因果推理的角度，建立统一的理论框架来解释身体自我意识中的行为和神经生理现象。对于这些理论模型，需要解释的一个核心问题是诸如橡胶手错觉之类的身体错觉是如何发生的。橡胶手错觉是指，当橡胶手和被试看不见的真手同时受到触觉和视觉刺激时，被试会产生错觉，认为橡胶手似乎变成了自己的手。

虽然现有的理论模型主要从预测编码和贝叶斯因果推理的角度为橡胶手错觉的计算机制提供了解释，但从连接主义的角度来看，仍然缺乏一个令人满意的解释。特别是，这些模型尚未完全阐明大脑如何通过神经网络中神经元的相互作用编码身体自我意识，并产生橡胶手错觉的主观体验。由于方法上的限制，许多现有的理论模型复现多种橡胶手错觉实验的能力有限。此外，这些模型很少考虑神经连接损伤如何影响模型效果的。关于这一点，作者认为通过失能实验评估计算模型的性能具有重要的前景。失能实验可以揭示模型中不同模块的具体贡献，有助于揭示橡胶手错觉的计算和神经机制。

中国科学院自动化研究所曾毅研究员负责的类脑认知智能研究组借鉴猴子和人类的神经生物学研究结果，提出类脑身体自我感知模型（如图1所示）。该模型包括：初级运动皮层M1，用于编码运动方向；初级躯体感觉皮层S1，感知手指运动的方向；纹状体外区EBA，接收视觉信息，并检测视野中手指的运动方向；颞顶联合区TPJ，接收来自S1和EBA的信息，执行初级多感觉信息整合；前脑岛AI，接收来自S1、TPJ和EBA的信息，执行高级多感觉信息整合。机器人通过随机运动，实现对自己身体的感知。然后使用自我感知中十分经典的橡胶手错觉实验来验证模型的效果。

该模型为多脑区协同的脉冲神经网络模型，各个脑区通过基于频率的神经元模型构建，并根据脑区特性设定不同的神经元参数。在计算模型中，脑区间的突触权重根据脑区功能设定，初始权重均为1，表明初始时均为兴奋性连接。计算模型中部分脑区间的突触权重是固定的，如用于信息传递的WM1-S1、WV-EBA、WTPJ-AI，实现TPJ区域的初级多感觉信息整合的WS1-TPJ和WEBA-TPJ；而另一些则是通过学习获得，在训练过程中根据突触可塑性机制表现出兴奋性或抑制性连接，如实现AI区域的高级多感觉信息整合的WS1-TPJ和WEBA-AI。学习利用等价于脉冲时序依赖可塑性机制（Spike Timing Dependent Plasticity，STDP）的突触可塑性机制实现，并通过侧向抑制机制实现特定神经元间突触权重的更新。机器人通过随机运动实现身体自我感知模型的构建，根据AI区域中放电频率最高的神经元进行行为决策。

图1. 类脑身体自我感知模型

文章主要作者鲁恩萌介绍：

我们首先在iCub机器人上验证了模型效果。实验场景如图2所示，iCub机器人将手放在平板电脑和白色纸板之间。平板电脑有两个功能：阻止机器人直接看到自己的手；通过后置摄像头捕捉机器人手的图像，旋转图像，并显示处理后的图像。任务为：机器人将手放至固定位置后，平板电脑采集机器人手的图像并随机旋转一定角度，随后平板电脑随机显示目标点，机器人指向目标点。

实验结果表明，机器人获得了同猕猴类似的实验结果。当视觉偏转角度较小时，机器人的行为决策主要依赖视觉信息，本体感觉偏移随视觉偏转角度的增大而增大；当视觉偏转角度较大时，机器人的行为决策主要依赖本体感觉信息，随视觉偏转角度的增加，本体感觉偏移增加缓慢并趋于平缓；当视觉偏转角度极大时，机器人的行为决策完全依赖本体感觉信息，本体感觉偏移为零，机器人不再认为视野中的手是自己的手。

图2. 机器人橡胶手错觉实验

文章第一作者赵宇轩介绍：

在仿真环境中，我们使用本体感觉偏移实验、本体感觉精度实验、外观替换实验、异步实验、仅本体感觉信息实验、仅视觉信息实验以及失能实验验证模型效果。模型在仿真实验中的实验结果均能较好的重现生物实验中的行为结果，且在神经元尺度有着良好的可解释性。

此处以失能实验为代表，介绍实验结果。

在TPJ失能实验中，我们将WS1-TPJ和WEBA-TPJ设为0。多感觉信息仅由AI整合，TPJ不再整合任何信息。经过训练和测试，不同本体感觉精度的TPJ失能实验结果如图3E所示。这一结果表明，当TPJ完全失能时，仅通过AI进行多感官信息整合无法诱导出橡胶手错觉。此外，我们通过设置不同的突触权重来模拟不同程度的TPJ失能对橡胶手错觉的影响。实验结果表明，当TPJ失能程度较低(即WS1-TPJ和WEBA-TPJ值较大)时，TPJ仍能整合多感官信息，机器人可产生橡胶手错觉。但本体感觉漂移较小，能引起机器人橡胶手错觉的视觉偏转范围较窄。随着失能程度的增加(即WS1-TPJ和WEBA-TPJ的值减少)，橡胶手错觉变得更加难以诱导。实验结果与经颅磁刺激在TPJ上降低橡胶手错觉程度的行为实验结果一致。

在AI失能实验中，我们将WS1-AI, WTPJ-AI, WEBA-AI设为0。TPJ整合多感觉信息，AI不再整合任何信息。经过训练和测试，具有不同本体感受精度的AI失能实验结果如图3F所示。从图3F可以看出，虽然机器人在部分视觉偏转角度下诱导出橡胶手错觉，但在大多数视觉偏转角度下，AI失能使机器人主要依靠视觉进行决策。即AI失能不能有效诱导出橡胶手错觉。

图3. 仿真环境实验结果

文章责任作者曾毅研究员说：

在我看来，自我感知是自然智能和真正意义的人工智能的基石。它是自我意识的基础，对自我觉知、自我识别、直至基于自我经验的学习和决策等更高层次的认知都是至关重要的。因此，自我意识的计算模型及其对大脑和意识的启发是我们的最终目标之一。它为机器人提供了理解和感知自身状态和行为的能力，从而提升机器人的自我认知能力，使机器人能够更好地适应不同的环境和任务。还可以帮助机器人更好地理解自身的经验和知识，为机器人的认知和决策能力提供更多的支持和帮助，同时也将为人类的认知科学和技术领域带来更多的创新和发展。对揭示自我意识的计算和神经机制，以及构建脑与心智启发的人工智能模型、实现人与人工智能的和谐共生至关重要。

作者专访

Cell Press细胞出版社特别邀请赵宇轩副研究员、鲁恩萌研究工程师和曾毅研究员进行了专访，请他们为大家进一步解读。

CellPress：

你能分享一些关于你背景的信息吗？

赵宇轩副研究员：

我的第一个学位是制药工程学士学位。在四年的本科生涯期间，我发现了我对计算机科学的热爱，并开始自学该领域。我正式从事计算机科学的研究始于2013年，在北京大学，我先后取得了软件工程专业的硕士学位以及电子与信息专业的博士学位。之后，我加入了类脑认知智能实验室，从事类脑人工智能的研究。我的主要研究方向为类脑认知计算建模、高等认知功能模拟和类脑认知机器人。我们根据脑科学、认知心理学和神经科学等学科的知识设计类脑认知计算模型，实现对高等认知功能的模拟。我们从计算建模的角度探索高等认知功能的计算机制和生物机制。我的最终目标是构建一个具有自我意识的机器人自我模型。一方面，探索自我意识背后的生物机制，另一方面，使机器人能够做出符合人类价值观和道德的行为决策。

鲁恩萌研究工程师：

我的最初研究领域是机器人和嵌入式系统设计。随着时间的推移，我逐渐将焦点转向人工智能，探索如何为机器人构建更智能的"大脑"，以及更进一步地，我开始思考未来更加智能的机器人如何能够与人类安全和伦理地共存。我的工程背景为我提供了一个基于机器人来探索具身智能实现的视角，而对人工智能安全和伦理问题的长期关注则使我认识到了为未来构建更安全和更道德的机器人的紧迫性和必要性。为此我致力于构建能够赋能未来机器人既更加"懂自己"同时又更加“在乎他人”的类脑具身认知智能实现。

曾毅研究员：

当我还是一名本科生时，受到关于人工智能科幻电影的启发，我发现了自己的科学愿景，即构建能够与人类共生的人工智能，并获得了人工智能博士学位。后来，我加入了中国科学院自动化研究所，在那里我建立了类脑认知智能实验室和人工智能伦理与治理研究中心。我还成立了远期人工智能研究中心，调查人工智能对人类和生态利益的长期和社会挑战。我对类脑人工智能、人工智能伦理、安全与治理，以及人工智能促进可持续发展感兴趣。我的长期目标是发展全面的理论和系统来解码人类智能及其进化的机制和原理，并为脑与心智启发的有意识的人工智能开发人工大脑，使之达到或超过人类的智能水平，以实现未来人类与人工智能和谐共生的社会。

CellPress：

是什么促使你成为一名研究人员?是什么指引了你的道路?

赵宇轩副研究员：

我成为人工智能研究者的动力源于对知识和探索的热情。我天生对未知的事物充满好奇，渴望揭开世界的本质和真相。我希望通过我的努力，能够为人类对世界的理解做出贡献。在成为人工智能研究者的道路上，团队负责人曾毅研究员对我产生了深远的影响。他不仅提供了职位，还帮助我建立了坚实的基础，用他前沿的学术思想和对研究的热情引导我走向成功之路。他的想法激发了我更深入地研究这个问题，并鼓励我挑战传统的思维方式。他总是给我足够的自由和资源去探索我感兴趣的研究，并在我遇到困难时给予无私的帮助和指导。总之，正是我的兴趣、热情和周围人的影响，让我走上了人工智能研究的道路，并在这个领域不断探索和成长。

鲁恩萌研究工程师：

我觉得科幻电影在我确定和追逐我的研究生涯上起了很重要的作用。在学生时期的我会为电影《人工智能》、《机器管家》等描绘的人类与机器人和谐共处的未来，激起了我的向往，让我非常想要去实现。而《2001太空漫游》、《我，机器人》里描绘的机器人失控的场景，又促使我思考如何确保未来人与机器人之间的交互能够一直确保是安全、可控的。尽管当我从事机器人研究后发现现实离电影里的还有很大差距，我相信这些电影所激发的最初设想和想法为我的研究生涯播下了不可或缺的种子。

曾毅研究员：

在史蒂文·斯皮尔伯格于2001年执导的电影《人工智能》中，两名研究人员讨论了模拟人脑以构建能够产生爱的机器人。这个场景激发了我在大学时对类脑人工智能的研究。我意识到这是我想要用一生来追求的目标，即构建能够爱护人类的机器人。基于这些灵感和动力，十多年来，我一直致力于构建“脑与心智启发的人工智能”- 受大脑和心智结构与机制启发的人工智能，可以在道德上与人类进行互动并共存。

CellPress：

你对当前数据科学的哪个趋势最感兴趣?在你看来，数据科学界最紧迫的问题是什么?

曾毅研究员：

我对如何将数据科学和人工智能模型结合起来，开发受脑与心智启发的具备道德的人工智能非常感兴趣。人工智能的许多进展，如生成式人工智能，已经带来了很多社会无法及时解决的难题。由于当前人工智能仍然是一个信息处理工具，具有许多安全风险，不良设计、滥用和误用可能对人类造成灾难性的风险。为了实现道德和安全的人工智能，需要实施有效的技术和社会机制。我致力于带领我的团队，研究如何在人类发展、进化和行为数据的支持下，建立受脑和心智启发的道德人工智能模型。

CellPress：

关于你对人工智能和机器人伦理的看法，你能详细说明一下这与你对橡胶手错觉和身体自我意识的研究有什么关系吗?

鲁恩萌研究工程师：

未来合乎伦理的机器人首先要对人类是可控的、然后在交互上是伦理的和安全的、最后还要在判断和决策上做到是道德的。在此先不谈论远期的通用智能赋能的机器人的可控性问题、以及未来近期一段时间大语言模型赋能机器人时可能带来的心理层面的伦理问题。未来至少从物理交互的角度来看，我们需要机器人学会不让自身的行为在物理上伤害他人(当然也包括自己)，以及对他人受到伤害时有足够的共情，进而才能实现具身意义下的有道德的机器人。为此机器人需要首先学会表征自己的身体，区分哪些是自己，哪些是他人，哪些是环境。进而机器人还需要理解什么是对自己身体的伤害，以及伤害本身意味着什么，以及发生在他人身上的伤害意味着什么，同时能够预测自己的哪些行为会带来伤害，以及采取哪些行为能够避免伤害。而让机器人像人一样拥有对身体自我的表征和感知，以及让它们采用类似人一样的方式来表征和理解身体和伤害的概念是实现这些的基础。

CellPress：

这个项目是怎么产生的？

曾毅研究员：

在我们类脑认知智能实验室，我们有一个共识，即自我感知是自然智能和人工智能的基石。它是自我意识的基础，对自我觉知、自我识别、直至基于自我经验的学习和决策等更高层次的认知都是至关重要的。因此，自我意识的计算模型及其对大脑和意识的启发是我们的最终目标之一。在几位同事的共同努力下，我们从结合理论和数据驱动的方法入手，构建自我感知的计算模型。类脑机器人镜像自我识别模型是我们的第一次尝试，这一次，我们将重点放在了机器人橡胶手错觉的类脑身体自我感知模型上，这比我们七年前对类脑机器人镜像自我识别模型的研究更加深入。

CellPress：

是否有什么特别的东西促使你开始或参与这个项目？

赵宇轩副研究员：

为机器人构建身体自我感知模型，并试图从计算建模的角度揭示身体自我意识的潜在生物机制，是一项非常具有挑战性的任务。我们选择橡胶手错觉实验作为实验范式来探索身体自我意识。然而，我们缺乏生物实验结果来验证模型的生物可解释性和有效性。Fang等人2以猕猴和人类为被试的生物实验为我们提供了非常重要数据和启发。他们提供了客观且可量化的行为实验结果，以及神经元尺度的实验结果，为验证我们模型在行为和神经元尺度上的有效性提供依据。在此基础上，我们还选择了一些其他的橡胶手错觉实验，包括研究较少的本体感觉精度实验，并设计了一个失能实验来进一步验证模型的效果。除了对人工智能的贡献外，这些结果还有助于认知心理学和认知神经科学领域的研究人员进一步探索橡胶手错觉的生物机制。

鲁恩萌研究工程师：

我记得在看电影《Big Hero 6》的时候有一个场景令我印象深刻。当Baymax，一个充气式医疗机器人，在主人公Hiro的卧室里启动后想要走出房间时，尽管它侧过它胖嘟嘟的身体小心翼翼地走过过道，但是还是不小心碰掉了桌子上的书籍。这个场景就很好地体现了让机器人具有躯体自我的表征对于自己进行行为决策和对于自身和环境安全的意义，尤其是对于像Baymax这种躯体边界会随着充气和放气动态变化的情况下。这也是我们在本次工作中探索机器人躯体自我的出发点之一。

CellPress：

项目的下一步要做什么？

赵宇轩副研究员：

该项目的最终目标是构建机器人的自我模型。这是一个有趣且充满挑战的任务。我们将从五个方面构建机器人的自我模型：具身自我、自主自我、时空自我、社会自我和概念自我。幸运的是，我们前期已经积累了一些研究基础。在具身自我方面，我们提出并构建了类脑身体自我感知模型，使机器人能够自主构建身体模型，能被诱导出橡胶手错觉1，并能通过镜像测试3。在自主自我方面，我们提出并构建了类脑经典条件反射模型4，该模型可以复现多达15种条件反射现象，赋予机器人建立条件反射和速度泛化的能力。在社会自我方面，我们提出并构建了类脑心理揣测模型5，该模型可以使机器人利用自己的经验推断其他机器人的信念并预测他人的行为。接下来，基于现有的工作，我们将整合新的实验范式和生物学发现，开发以自我五个方面为中心的认知模型。这将使我们能够不断丰富和完善机器人的自我模型。此外，在探索生物学机制的同时，我们还会将该模型部署到机器人上，以探索其在日常生活中的应用。

CellPress：

曾教授，您希望在团队中营造一种什么样的氛围？是否有任何经验或教训是您试图复制或避免的？

曾毅研究员：

我们团队的氛围非常自由、合作、和谐。我从多年的研究中总结出的一句鼓励学生的话是：创造性地思考，有远见地思考！与众不同地思考，大胆地思考！从小处着手，从现在开始！

CellPress：

除了指导他们的研究外，你如何帮助培养和指导你的学生和博士后成为科学家？

曾毅研究员：

我专注于帮助学生和我的员工培养他们的学术品味和价值观，为科学和社会做出积极贡献。例如，进行有益于人类的有意义和创新的研究，为人正直、诚实、道德，并且要有同情心。同时，重要的是要有自信、毅力和耐心，才能做出扎实的工作。

本文参考文献（上下划动查看）

1. Yuxuan Zhao, Enmeng Lu, Yi Zeng. Brain-inspired bodily self-perception model for robot rubber hand illusion. [J]. Patterns, 2023.

2. Wen Fang, Junru Li, Guangyao Qi, Liping Wang. Statistical inference of body representation in the macaque brain[J]. Proceedings of the National Academy of Sciences, 2019, 116(40): 20151-20157.

3. Yi Zeng, Yuxuan Zhao, Jun Bai, Bo Xu. Toward Robot Self-consciousness (II): Brain-inspired Robot Bodily Self Model for Self-recognition[J]. Cognitive Computation, 2018, 10(2): 307-320.

4. Yuxuan Zhao, Yi Zeng, Guang Qiao. Brain-Inspired Classical Conditioning Model. iScience, 2021, 24(1), 101980.

5. Yi Zeng, Yuxuan Zhao, Tielin Zhang, Dongcheng Zhao, Feifei Zhao, Enmeng Lu. A Brain-inspired Model of Theory of Mind[J]. Frontiers in Neurorobotics, 2020, 14(60):1-17.

作者简介

赵宇轩，中国科学院自动化研究所类脑认知智能研究组副研究员。研究方向为类脑认知计算建模、高等认知功能模拟。目前已在Patterns、iScience、Frontiers in Neuroscience、Cognitive Computation等期刊发表多篇论文。

鲁恩萌，中国科学院自动化研究所研究工程师，人工智能伦理与治理研究中心研究员，远期人工智能研究中心研究员。主要研究方向为类脑人工智能、人工智能伦理、安全与治理等。作为主要作者之一参与了《人工智能北京共识》、《面向儿童的人工智能北京共识》、《面向生物多样性保护的人工智能原则》、《面向气候行动的人工智能原则》、《脑机接口与增强智能的伦理倡议》、《自然生命与人工智能生命共生的原则》等的撰写与制定。目前已在Humanities and social sciences communications、AAAI、AI and Ethics、Patterns、Cognitive Computation、Frontiers in Neurorobotics/Neuroscience/Computational Neuroscience等发表论文多篇。

曾毅，中国科学院自动化研究所研究员、类脑认知智能研究组负责人、脑图谱与类脑智能实验室副主任、人工智能伦理与治理研究中心主任；中国科学院大学岗位教授、博士生导师；远期人工智能研究中心主任；中国人工智能学会心智计算专委会主任；国家新一代人工智能治理专委会委员；联合国人工智能高级别顾问机构(UN High Level Advisory Body on AI)专家组专家；联合国教科文组织人工智能伦理特设专家组专家。研究领域包括脑与心智启发的人工智能，人工智能安全、伦理和治理，以及人工智能赋能可持续发展。被美国《时代周刊(TIME)》评为人工智能最具影响力100人。代表性成果发表在PNAS、Cell Press细胞出版社旗下期刊Patterns、iScience，Nature出版社旗下Scientific Data、Scientific Reports、Humanities and social sciences communications，以及Science出版社旗下Science Advances、IEEE Transactions、Neural Networks以及人工智能领域重要国际会议NeurIPS、IJCAI和AAAI等。