官方网站-首页

【导语】近日，一项革命性的脑机接口（BCI）技术让一名患有严重语言障碍的男子重新获得了富有表现力的说话和歌唱能力。该技术通过大脑植入装置，将神经活动实时转化为自然流畅的语音，不仅能实现语调变化和单词强调，还能让他哼唱音符。这一突破性成果标志着对早期BCI的重大改进，为语言障碍患者带来了全新的希望。

一名患有严重语言障碍的男子，借助大脑植入装置，能够富有表现力地说话和歌唱。该装置可以将他的神经活动转化为话语，不仅能实现语调变化，强调他选择的单词，还能让他以3个音调哼唱一串音符。

该系统被称为脑机接口（BCI），使用人(rén)工(gōng)智(zhì)能(néng)解(jiě)码(mǎ)参(cān)与(yǔ)者(zhě)说(shuō)话(huà)时(shí)的(de)脑(nǎo)电(diàn)活(huó)动(dòng)。该(gāi)装(zhuāng)置(zhì)是(shì)第(dì)一(yī)个(gè)不(bù)仅(jǐn)能(néng)再(zài)现(xiàn)一(yī)个(gè)人(rén)的(de)意(yì)图(tú)，还(hái)能(néng)复(fù)制(zhì)自(zì)然(rán)语(yǔ)言(yán)特(tè)征的BCI。而音调、音高、重音等自然语言特征有助于表达意思和情感。

在一项研究中，一种模仿参与者声音的合成声音，在他的神经活动发出说话意图信号的10毫秒内就说出了他的话。这项6月11日发表于《自然》的研究成果标志着对早期BCI的重大改进。早期BCI通常在3秒内输出语音，或者仅在用户模拟完整个句子后才能生成语音。

植入运动皮层的电极有助于记录和语言相关的大脑活动。图片来源：Kateryna Kon

“这是语音BCI领域的圣杯。”荷兰马斯特里赫特大学的Christian Herff说，“这是真实、自发、连续的讲话。”

这项研究的参与者是一名45岁男子，在患上一种运动神经元疾病——肌萎缩侧索硬化症后，失去了清晰说话的能力。这种疾病会损害控制肌肉运动的神经，包括说话所需的神经。虽然他还能发音和说话，但说得很慢，也不清楚。

在症状出现5年后，这名男子接受了手术，在控制运动(dòng)的(de)大(dà)脑(nǎo)区(qū)域插(chā)入(rù)256个(gè)硅(guī)电(diàn)极(jí)，每(měi)个(gè)长1.5毫米。论文作者之一、美国加利福尼亚大学戴维斯分校的Maitreyee Wairagkar和同事训练了深度学习算法，能够每10毫秒捕捉一次大脑中的信号。团队的系统实时解码了该男(nán)子(zi)试(shì)图(tú)发(fā)出(chū)的(de)声(shēng)音(yīn)，而(ér)不(bù)是(shì)他(tā)想(xiǎng)要(yào)表(biǎo)达(dá)的(de)具(jù)体(tǐ)词语(yǔ)或(huò)基(jī)本(běn)音(yīn)素(sù)——构(gòu)成(chéng)单(dān)词的(de)语(yǔ)音(yīn)亚(yà)单(dān)位(wèi)。

“我(wǒ)们(men)并(bìng)不(bù)总(zǒng)是(shì)用(yòng)语(yǔ)言(yán)表(biǎo)达(dá)想(xiǎng)法(fǎ)。我(wǒ)们(men)还(hái)有(yǒu)感(gǎn)叹(tàn)词，以(yǐ)及(jí)一(yī)些(xiē)词汇(huì)表(biǎo)里(lǐ)没(méi)有(yǒu)的(de)富(fù)有(yǒu)表(biǎo)现(xiàn)力(lì)的(de)发(fā)音(yīn)。为(wèi)了(le)实(shí)现(xiàn)这(zhè)一(yī)点(diǎn)，我(wǒ)们(men)采用(yòng)了(le)这(zhè)种(zhǒng)完(wán)全不(bù)受(shòu)限(xiàn)制(zhì)的(de)方(fāng)法(fǎ)。”Wairagkar解(jiě)释(shì)说(shuō)。

该(gāi)团(tuán)队(duì)还(hái)通(tōng)过(guò)训(xun)练(liàn)人(rén)工(gōng)智(zhì)能(néng)算(suàn)法(fǎ)，根(gēn)据(jù)病(bìng)人(rén)生(shēng)病(bìng)前(qián)的(de)采访(fǎng)录(lù)音(yīn)，将(jiāng)合(hé)成(chéng)声(shēng)音(yīn)个(gè)性(xìng)化(huà)，使(shǐ)其(qí)听(tīng)起(qǐ)来(lái)像(xiàng)病(bìng)人(rén)自(zì)己(jǐ)的(de)声(shēng)音(yīn)。

研(yán)究(jiū)人(rén)员(yuán)要(yào)求(qiú)参(cān)与(yǔ)者(zhě)尝(cháng)试(shì)发(fā)出(chū)“啊(a)”“哦(ó)”“嗯(ń)”之(zhī)类(lèi)的(de)感(gǎn)叹(tàn)词，并(bìng)说(shuō)出(chū)虚(xū)构(gòu)的(de)单(dān)词。BCI成(chéng)功(gōng)产(chǎn)生(shēng)了(le)这(zhè)些(xiē)声(shēng)音(yīn)，表(biǎo)明(míng)它(tā)可(kě)以(yǐ)在(zài)不(bù)需(xū)要(yào)固(gù)定(dìng)词汇(huì)的情况下生成语音。

使用这款BCI，这名男子可以拼写单词、回答开放式问题，并使用解码器训练数据库之外的一些单词说出想说的话。他告诉研究人员，听到合成声音说话让他“感到高兴”，感觉就像他的“真实声音”。

在其他实验中，BCI能够识别出参与者是想把一个句子说成疑问句还是陈述句。该装置还能判断他在一句话中想强调哪些词语，并相应调整合成声音的语调(diào)。“我(wǒ)们(men)正在引入人类语言中所有这些重要的元素。”Wairagkar说，以前的BCI只能产生单调的语音。

瑞士日内瓦大学的Silvia Marchesotti说，该装置的功能“对于患者的日常使用至关重要”。“从某种意义上说，这是一种范式转变，可以真正带来一种现实生活中的工具。”

相关论文信息：https://doi.org/10.1038/s41586-025-09127-3

（原标题为《脑机接口首次让患者有感情地说话唱歌，可实时将思想转化为语言》）