失聪的人如何“听”到音乐？

酷炫脑科普内容创作者

2022-08-31 11:16

上海

原创 Elena Renken 酷炫脑

Via：pixabay

作者 |Elena Renken

翻译 | 王齐家

审校 | 酷炫脑主创

朗读 | 鸽仔

美工 | 老雕虫

编辑 | 加薪

随着科学家对人类身体和大脑如何处理振动有了更多的了解，他们正在进行大量的新的研究，这将帮助听障人群更好地欣赏音乐。

EVelyn Glennie在12岁左右开始学习打击乐，当时她的听力因神经退化而大部分丧失。她的老师敲击定音鼓，利用鼓的振动让声音产生共鸣。"他让我把手放在音乐室的墙上，"格伦尼最近在她英国的家中谈话时说。她能感觉到鼓声的第一次冲击，但她也能感觉到之后的振动回荡。"她解释说："这真的让身体慢下来了，因为我在关注那个声音的整个旅程。"整个身体都在参与关注这个声音。然后，它真的改变了我的一切。它改变了我对触摸的敏感度。" 格伦尼学会了用这种方式辨别不同音符的音高，并最终建立了一个著名的打击乐独奏家的职业生涯。

Glennie对振动的极度敏感和作曲的非凡天赋，体现了数百万聋人和听障人士与音乐的强大联系。他们很多人去听音乐会或者在家里通过触摸、视觉和摆动来享受音乐。但是，随着科学家对人类身体和大脑如何处理振动有了更多的了解，他们正在进行大量的新的研究，这将帮助听障人群更好地欣赏音乐的复杂性和情感范围，无论是作为听众还是表演者。在这个过程中，他们还发现了音乐是如何通过我们来创造感觉的交响乐。

许多聋人音乐会的观众会紧紧抓住气球，以便更好地通过薄薄的橡胶感受声音的振动。

当某些频率的振动，那些在20赫兹至20,000赫兹的可听范围内的振动，穿越空气并被耳蜗中的微小感觉细胞捕获时，有听力的人类就会感知到音乐和其他声音。但是，音乐也可以通过触觉来感知。声波可以作为空气压力在皮肤上感受到，也可以通过固体材料，如吉他的音板或舞台的地板传播，在那里它们可以被手、身体和脚所接收。震动也可以通过骨骼之间的膜和内部空腔的壁来被感觉到，如肺和胸腔。

聋人音乐传统长期以来一直利用触觉的力量来感知振动，这被称为振动触觉。许多聋人音乐会的观众紧紧抓住气球，以便通过薄薄的橡胶更好地感受声音的振动，格伦尼以赤脚演出而闻名，这样她可以更好地感受到舞台上的振动。据说贝多芬失聪后，用一根棍子给自己做了一个助听器：他用牙齿咬住一端，让另一端放在钢琴上，以便从音乐中获取振动。

图源互联网

由于大脑线路和实践的某种结合，许多天生耳聋的人似乎对触觉的敏感度有所提高，这可以通过各种方式表现出来。神经科学家和音乐家弗兰克-鲁索正在研究大脑中的电信号如何追踪通过振动触觉检测到的节拍，他的初步数据显示聋人和正常人的结果不同。"他在多伦多城市大学研究音乐认知、声学和听觉感知，他说："到目前为止，我们所看到的是，聋人的大脑在代表节拍方面做得比没有听力障碍的人的大脑更好。”

在聋人的大脑中，大脑的声音处理部分经常被重新利用。尼古拉-哥白尼大学(Nicolaus Copernicus University)的认知科学家卡洛琳娜-芬克(Karolina Finc)说，如果没有大量的声音信号需要解释，听觉皮层可以重新连接，以接收来自其他感官的信号，例如触摸和视觉。Finc 在2020年发表的研究显示，对于那些在生命早期就失聪的人来说，整个大脑的电路会重组以适应听力损失。例如，一个参与注意力和解决问题的网络被发现与协调运动反应、视觉系统和记忆的网络有更紧密的联系。"整个大脑必须进行调整，" Finc说。

因为每个听力障碍人士对于音乐都有不同经历，而且每个人的大脑都是不同的，一个人的振动触觉如何以及在多大程度上可以填补听力的损失将是不同的。无论如何，通过触摸传达的振动提供了丰富的音乐微妙性，研究人员现在正在对其进行量化。

研究感官知觉的神经科学家们历来关注听觉和视觉系统。瑞士弗里堡大学研究大脑如何协调运动等课题的神经科学家马里奥-普尔萨说，人们对振动触觉的理解不太透彻。"我们在某种程度上忽略了这种振动感，"他说。2016年和2017年，当Prsa在日内瓦大学Daniel Huber的神经科学实验室做博士后时，他正在研究如何加强对假肢的思维控制。为了训练小鼠激活运动皮层中的某些神经元，这是一个调节运动的关键区域，他尝试以触觉振动的形式给它们反馈。

在记录结果时，他偶然发现体感皮层的神经元有令人惊讶的行为。不同的神经元组对不同频率的振动反应最强烈。Prsa翻阅了科学文献，想看看在他之前的其他人对他所观察的神经元的行为有什么认识，结果一无所获。他没有找到其他关于神经元对振动的特定频率反应的描述。所以他和他在日内瓦大学的同事决定进行一些实验。当他们通过一根金属棒向人类指尖和老鼠前肢发出不同频率和强度的振动时，他们证实不同的频率会引起不同神经元的反应。

这是一个重要的发现，因为人类的听觉系统也有类似的表现。事实上，听觉和触觉的感觉系统在许多有趣的方面有重叠。即使在有听力的人中，振动触觉输入的信号也能被听觉皮层检测到，而且触觉和听觉刺激在一起或交替感知时也会被混淆。在听觉和触觉中，感知振动的力学原理基本相同：位于耳蜗和全身的被称为机械感受器的感觉神经，会随着压力的变化而弯曲，引发神经冲动，并被送往大脑。许多生物，如一些昆虫和啮齿动物，仍然主要通过振动进行交流，一些神经科学家甚至提出，听觉在更复杂的动物中是从振动触觉演变而来的。

在过去的一二十年里，工程师们制造了一系列振动的可穿戴设备和装置，旨在帮助聋人体验更多的音乐细微差别：为听众准备的夹克、手套和腕带，以及为音乐家准备的鼓凳和平台。最近，由Not Impossible Labs（一家设计创新开源医疗技术的公司）在拉斯维加斯的一场音乐会上进行了测试，一种可穿戴设备看起来有点像背带或背包。它由一系列无线传感器组成--设计用于放大和传输不同频率的振动--绑在人的背部、肩部和腰部，以及脚踝和手腕处。

Not Impossible Labs的可穿戴设备

但是，许多现有的乐器仍然比较粗糙，主要只传达低音和节拍。Glennie曾尝试过振动平台、椅子和腕带，她说她担心像这样的设备会使音乐的触觉体验变得无趣。科学家们只是刚刚开始了解如何通过触觉来捕捉和传达音乐的真正复杂性、深度和情感范围，将舒缓的人声、深沉的低音和铿锵的吉他节奏转化为触觉振动，以复杂的频率和强度组合，让人细腻地感受。

聋人的大脑可以比正常人的大脑更好地表现节拍。

当利物浦大学的Musical Vibrations项目（一个提供将音乐转化为振动的设备的团体）向聋人说唱歌手SignKid提供他们的技术时，他发现这有助于他跟上节奏。他们将他的一首歌曲输入该设备，该设备将带有低音吉他、吉他、踢鼓和小鼓的曲目转化为振动。SignKid的每只脚都放在两个振动器上--红色和白色的罐子，上面有圆形的板，通过他的脚跟和前脚掌产生振动。"我喜欢这个，"他告诉Musical Vibrations团队。"我可以使用这个。" 团队把设备借给他，他在制作2019年的EP《视觉体验》（The Visual Experience）时使用了这些设备。

触觉振动的一些音乐特征是显而易见的：它们可以有效地传达节奏。脑电图进行的分析显示，通过头皮测量的大脑信号与音乐节拍同步跳动，无论该节拍是通过声音还是触摸传达的。但触摸可以传达音乐的更多细节。声波的振幅，在听觉系统中被转化为音量，在振动触觉系统中被感受为压力的强度。在这两种模式中，频率创造了一种音高感。

然而，我们对振动的变化并不像对声音的变化那样敏感，这使得音高检测更加困难。根据音乐振动项目的负责人卡尔-霍普金斯（Carl Hopkins）的研究，即使经过训练，使用振动来识别附近的音符，如C和C调之间的区别，对聋人和正常人来说都很困难。我们还可以通过振动触觉辨别乐器和人声产生的许多音符的音高，尽管这个范围比声音的范围要窄。

如果没有声音来解释，听觉皮层可以重新连接自己，以接收来自其他感官的信号。

我们的耳朵对2000到5000赫兹之间的频率最为敏感，而振动触觉的范围一般在5到1000赫兹之间（作为参考，男性的深沉声音区域一般在75到100赫兹之间）。这意味着耳朵通常检测到的许多最高音调的频率不能被振动触觉接收到，例如，或者不能被精确识别。但这也意味着，即使我们听不到，我们也能感觉到某些低频率。

通过振动，人们还可以识别出音色的差异，这种品质塑造了我们听到的声音的 "颜色"。"即使你拿着两架钢琴，它们的音色也不完全相同，"Russo说。"他们可能都在演奏中C，但与立式钢琴相比，三角钢琴有更明亮的东西。" 仅仅通过触摸一个振动的小工具，有听力的人和聋哑人都证明了他们有能力检测出大提琴、钢琴和长号之间的差异，以及声音的沉闷和明亮。

Prsa和他的合作者正在研究某些频率的组合是否比其他频率的组合更能让振动触觉系统感到愉悦。"是否有这样一种东西作为振动触觉的八度？Prsa想知道。"是否有类似于不和谐音符的东西？" 他和他的合作者已经开始用一个简单的旋律实验来探索这些问题：测试聋人和听人的参与者能多容易地通过触摸感应的振动来识别基本的旋律，如 "生日快乐"。将音频转化为可以通过触摸感受到的振动是一门不完美的科学。因为触摸可检测到的频率范围比耳朵可检测到的范围更窄更低，而且由于更难区分相邻的音调，一些音符在这个过程中被改变了。Prsa想看看这些改变--特别是一个频率和另一个频率之间的间隔--如何影响受试者识别旋律的能力。不过，这项研究结果还没有公布。

荷兰听障歌手rap表演

参考文献（点击滑动查看）

1.Holmes, J.A. Expert listening beyond the limits of hearing: Music and deafness. Journal of the American Musicological Society 70, 171–220 (2017).

2. Rowe, M., Tracey, D., Mahns, D., Sahai, V. & Ivanusic, J. Mechanosensory perception: Are there contributions from bone-associated receptors? Clinical and Experimental Pharmacology and Physiology 32, 100-108 (2005).

3. Tranchant P., et al. Feeling the beat: Bouncing synchronization to vibrotactile music in hearing and early deaf people. Frontiers in Neuroscience 11 (2017).

4 Russo, F.A., Ammirante, P., & Fels, D.I. Vibrotactile discrimination of musical timbre. Journal of Experimental Psychology: Human Perception and Performance 38, 822-826 (2012).

5. Levänen, S. & Hamdorf, D. Feeling vibrations: Enhanced tactile sensitivity in congenitally deaf humans. Neuroscience Letters 301, 75-77 (2001).

6. Bonna, K. Early deafness leads to re-shaping of functional connectivity beyond the auditory cortex. Brain Imaging and Behavior 15, 1469-1482 (2021).

7. Prsa, M., Galiñanes, G.L., & Huber, D. Rapid integration of artificial sensory feedback during operant conditioning of motor cortex neurons. Neuron 93, 929-939.e6 (2017).

8. Prsa, M., Kilicel, D., Nourizonoz, A., Lee, K.-S., & Huber, D. A common computational principle for vibrotactile pitch perception in mouse and human. Nature Communications 12, 5336 (2021).

9. Prsa, M., Morandell, K., Cuenu, G., & Huber, D. Feature-selective encoding of substrate vibrations in the forelimb somatosensory cortex. Nature 567, 384-388 (2019).

10. Humphries, C., Liebenthal, E., & Binder, J.R. Tonotopic organization of human auditory cortex. Neuroimage 50, 1202-1211 (2010).

11. Barbour, D.L. Intensity-invariant coding in the auditory system. Neuroscience & Biobehavioral Reviews 35, 2064-2072 (2011).

12. Caetano, G. & Jousmäki, V. Evidence of vibrotactile input to human auditory cortex. Neuroimage 29, 15-28 (2006).

13. Auer, E.T. Jr, Bernstein, L.E., Sungkarat, W., & Singh, M. Vibrotactile activation of the auditory cortices in deaf versus hearing adults. Neuroreport 18, 645-648 (2007).

14. Remache-Vinueza, B., Trujillo-Léon, A., Zapata, M., Sarmiento-Ortiz, F., & Vidal-Verdú, F. Audio-tactile rendering: A review on technology and methods to convey musical information through the sense of touch. Sensors 21, 6575 (2021).

15. Gilmore, S.A. & Russo, F.A. Neural and behavioral evidence for vibrotactile beat perception and bimodal enhancement. Journal of Cognitive Neuroscience 33, 635-650 (2021).

16. Mahns, D.A., Perkins, N.M., Sahai, V., Robinson, L., & Rowe, M.J. Vibrotactile frequency discrimination in human hairy skin. Journal of Neurophysiology 95, 1442-1450 (2006).

17. Hopkins, C., Maté-Cid, S., Fulford, R., Seiffert, G., & Ginsborg, J. Perception and learning of relative pitch by musicians using the vibrotactile mode. Musicae Scientae 1-24 (2021).

18. Hopkins, C., Maté-Cid, S., Fulford, R., Seiffert, G., & Ginsborg, J. Vibrotactile presentation of musical notes to the glabrous skin for adults with normal hearing or a hearing impairment: Thresholds, dynamic range and high-frequency perception. PLoS One 11, e0155807 (2016).

19. Kirsten, L., et al. Endoscopic optical coherence tomography with wide field-of-view for the morphological and functional assessment of the human tympanic membrane. Journal of Biomedical Optics 24, 031017 (2018).