科学家利用人工智能技术,根据人们听音乐时的大脑活动记录,重建了摇滚乐队平克?弗洛伊德的名曲。这项研究帮助我们进一步了解了大脑对音乐的感知机制,并最终可以为语言障碍患者设计出更好的语音设备。
陈强
你是否想过,当你享受音乐的美妙时,你的大脑也在同步地产生相应的神经信号?如果我们能够捕捉到这些信号,并将它们还原成音乐,那会是什么样的?
最近,美国加州大学伯克利分校的神经科学家罗伯特?奈特和他的同事就实现了这一壮举。为了进行这项研究,从 2009 年到 2015 年,研究团队在美国奥尔巴尼医学中心对 29 名癫痫患者的大脑进行了记录。
作为癫痫治疗的一部分,这些患者的大脑中植入了一组类似钉子的电极。这为科学家提供了一个难得的机会,可以在患者聆听音乐时记录他们的大脑活动。
研究团队选择了英国摇滚乐队平克?弗洛伊德的歌曲《墙上的另一块砖,第 1 部分》(Another Brick in the Wall, Part 1),部分原因是年长的患者喜欢这首歌。而且,这首歌有 41 秒的歌词和两分半钟的纯乐器演奏,这种组合有助于揭示大脑是如何处理语言和旋律的。
人工智能助力破解大脑信号
通过将大脑信号与原始歌曲进行比较,研究团队确定了哪些大脑信号是与歌曲的音高、旋律、和声和节奏密切相关的。然后,他们训练人工智能来学习大脑活动与这些音乐元素之间的联系。不过在训练数据中,他们排除了原始歌曲中一个 15 秒的片段。
经过训练后的人工智能可以根据患者的大脑信号,重建那个缺失的歌曲片段。与原始的歌曲片段相比,人工智能生成的歌曲片段听起来像是从水下传来的,不过其节奏完整,歌词模糊但仍可辨认。
研究团队发现,一个被称为“颞上回”的大脑区域,负责处理歌曲中吉他的节奏。他们还发现,处理音乐时,来自大脑右半球的信号比来自左半球的信号更强烈,这证实了先前研究的结果。“语言主要依赖于左脑,而音乐则涉及到大脑的多个区域,但右脑更占上风。”奈特解释道。
设计出更好的语音转换设备
在这项研究中,电极是通过手术植入到患者大脑中的,这使得该项研究无法推广到其他更一般的情况。不过,在今年早些时候,日本大阪大学的神经科学家高木优与谷歌的科学家合作,分析了用功能性磁共振成像技术收集的大脑信号,识别出了志愿者聆听的音乐类型。也许过不多久,科学家就可以利用 fMRI 等非入侵性技术手段,就可以把大脑信号转换成音乐。
研究团队希望,通过探索大脑对音乐的感知机制,这项工作最终可以有助于设计出更好的设备,来帮助那些有语言障碍的人将大脑信号直接转换为语音。
奈特说:“对于那些患有肌萎缩侧索硬化症或失语症(一种语言疾病)的人来说,他们很难说话,我们想要一种听起来就像与正常人交流一样的设备。了解大脑如何处理语音的音乐元素,包括语气和情感,可以使这些设备听起来不那么像机器人在说话。”
未来的音乐究竟是谁写的?
目前,人工智能只能根据大脑信号来重建人们正在听到的音乐。但是如果未来我们能够突破这个限制,并让人工智能重建人们正在想象的音乐,那么我们甚至可以利用这种技术来创作音乐。
但是,利用这种技术来创作音乐,可能会引发关于版权的争议。其中,音乐作品的创作者究竟是谁,是最难回答的问题。记录大脑活动的人会是创作者吗?人工智能本身会是创作者吗?被记录大脑活动的人会是创作者吗?
被记录大脑活动的人是否被认为是创作者,甚至可能取决于所涉及的大脑区域。大脑活动是来自听觉皮层等大脑的非创造性部分,还是来自负责创造性思维的额叶皮层,这可能会对音乐作品的著作权产生不同的影响。法律人士可能需要逐案评估这些复杂的问题。
参考文献:
广告声明:文内含有的对外跳转链接,用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。