語言解碼器重建“想象中的語言”
科技日報北京5月3日電 (記者張夢然)英國《自然·神經(jīng)科學(xué)》發(fā)表的一篇論文,描述了一種非侵入性的語言解碼器,可通過功能性磁共振(fMRI)數(shù)據(jù),重建感知到或想象出的語言。
過去的語音解碼器被用于侵入性神經(jīng)外科手術(shù)后記錄神經(jīng)活動,這限制了它們的用途。其他使用非侵入性腦活動記錄的解碼器限制在解碼單個詞匯或短語,還不清楚此類解碼器是否可用于連續(xù)的自然語言。
美國得克薩斯大學(xué)奧斯汀分校研究人員開發(fā)了一個解碼器,可通過來自fMRI數(shù)據(jù)獲得的腦模式重建連續(xù)語言。他們記錄了3名參與者傾聽16小時敘事故事的fMRI數(shù)據(jù),以訓(xùn)練模型在腦活動和語義特征之間進(jìn)行映射,捕捉特定詞組含義和相關(guān)的大腦響應(yīng)。這一解碼器模型隨后測試了參與者聽新故事的腦響應(yīng),這些故事沒有用在初始訓(xùn)練數(shù)據(jù)集中。使用這一腦活動,解碼器可生成詞匯序列,捕捉到新故事的含義,還生成了一些精確的故事詞匯和短語。他們發(fā)現(xiàn),解碼器可從大多數(shù)已知處理語言的腦區(qū)和網(wǎng)絡(luò)的活動中推斷連續(xù)語言。
這一解碼器還可通過fMRI數(shù)據(jù)預(yù)測某個參與者想象的故事的含義,或觀看一部無聲電影的內(nèi)容。當(dāng)一名參與者主動聽一個故事,忽略其他同時播放的故事,解碼器可識別出那個被主動聽的故事的含義。
團(tuán)隊對解碼器作了隱私分析,發(fā)現(xiàn)當(dāng)它基于一名參與者的fMRI數(shù)據(jù)進(jìn)行訓(xùn)練時,對預(yù)測另一名參與者數(shù)據(jù)的語義內(nèi)容預(yù)測表現(xiàn)不佳。他們總結(jié)說,參與者的合作在訓(xùn)練和應(yīng)用這些非侵入性解碼器中非常關(guān)鍵,而未來此類技術(shù)的發(fā)展,亦需要政策保護(hù)心理隱私。
- 21-12-30科研人員研發(fā)出水面智能保潔無人子母船系統(tǒng) 搭載動態(tài)避
- 21-12-31迄今最輕鎂同位素誕生
- 21-12-31我國瞄準(zhǔn)智慧育種4.0時代進(jìn)發(fā)
- 21-12-30氣候變暖影響下,這種動物或?qū)⒚媾R“性別失調(diào)”
- 21-12-31控制調(diào)節(jié)性T細(xì)胞發(fā)育的生化“開關(guān)”找到
- 21-12-30研究人員開發(fā)出可自修復(fù)鈣鈦礦太陽能電池 運行500小
- 21-12-30韋布發(fā)射升空 五大天文任務(wù)可期
- 21-12-30“一不小心”活到200歲 太平洋巖魚的長壽秘訣人類可
- 21-12-31埃及法老木乃伊首次“數(shù)字化解封”
- 22-04-20超聲波為水下儀器和人體植入設(shè)備充電