来源:生物探索2022-11-16 1:54
时任法国时尚杂志《ELLE》主编的让多米尼克鲍比,在一次意外中风醒来后,除了左眼,全身瘫痪。
时任法国时尚杂志《ELLE》主编的让多米尼克鲍比,在一次意外中风醒来后,除了左眼,全身瘫痪。然而,这种被称为闭锁综合征的疾病未能将他的意识禁锢在他的尸体中。他通过眨眼选择别人发音的字母来完成单词的拼写。单词串成句子,句子连成段落。他花了两年时间完成了他人生中唯一的一本书《潜水钟与蝴蝶》。潜水钟象征着沉重的命运,飞舞的蝴蝶象征着无界的思想,是作者自身处境的最好写照。
这位名叫布拉沃1的瘫痪男子比鲍比幸运。20岁时,因为脑桥中风,被神经科医生和言语病理学家诊断为重度痉挛性四肢瘫痪和构音障碍。虽然他的认知能力是完整的,他保留了咕哝和呻吟的能力,但他不能发出清晰的语言。他的头和脖子仍然可以旋转,所以他可以通过用帽子上的指针触摸屏幕上的字母来进行交流。速度大概是每分钟5个字或者18个字。
图1 Bravo1通过控制帽子上的指针来触摸屏幕(来源:[1])
但是交流也可以变得更简单。到2019年,作为BCI手臂和声音康复(BRAVO)临床试验的第一个参与者,研究人员通过手术在他大脑的语言运动皮层区域植入了一个高密度电极。BCI代表脑机接口,意思是脑机接口。通过这个电极,Bravo1的大脑信号被传输到计算机进行实时分析。
Bravo1可以从预定义的50个最常用的单词中选择一个他想说的,然后进行公开演讲尝试。对于一些构音障碍患者,他们在试图说话时会产生有限的口腔运动和难以辨别的发声。计算机识别Bravo1在试图说话期间的神经活动,并通过深度学习模型评估Bravo1说出某个单词的概率。结合神经活动给出的线索和一个词在一般句子表达中的合理性,计算机最终会给出Bravo1最有可能想表达的完整句子。
图2神经活动直接解码词汇的示意图(来源:[2])
系统最终达到了每分钟15.2个单词的中值速度和74.4%的中值单词准确率。相关研究成果发表在2021年7月的《新英格兰医学杂志》(图2)上,题目是《构音障碍患者语言解码的神经发生》[2]。
图3研究结果(来源:[2])
在此基础上,研究人员想更进一步。首先,是词汇量的扩大。Bravo1肯定有办法拼出更常用的单词,但会大大增加计算机将神经活动准确解码成具体单词的难度。其次,Bravo1不喜欢通过试图大声说话来控制拼写系统,因为这极其费力。对他来说,试着在心里默念会更舒服。然而,尚不清楚静默冥想时的神经活动是否能正确解码Bravo1想要表达的内容,尤其是Bravo1已经无法说话十多年了。语言控制背后的神经信号是否还完整,还需要怀疑。