加州大學(xué)舊金山分校的神經(jīng)科學(xué)家創(chuàng)建的最先進(jìn)的腦機(jī)界面可以通過(guò)使用大腦活動(dòng)來(lái)控制虛擬聲道來(lái)生成聽起來(lái)自然的合成語(yǔ)音-解剖學(xué)上詳細(xì)的計(jì)算機(jī)模擬，包括嘴唇，下巴，舌頭和喉頭。這項(xiàng)研究是在研究參與者的完整講話中進(jìn)行的，但是這項(xiàng)技術(shù)有一天可以恢復(fù)由于癱瘓和其他形式的神經(jīng)損傷而喪失發(fā)言能力的人們的聲音。

中風(fēng)，外傷性腦損傷和神經(jīng)退行性疾病(例如帕金森氏病，多發(fā)性硬化癥和肌萎縮性側(cè)索硬化癥(ALS或Lou Gehrig病))通常會(huì)導(dǎo)致語(yǔ)言能力不可逆轉(zhuǎn)地喪失。一些患有嚴(yán)重語(yǔ)言障礙的人會(huì)學(xué)會(huì)使用跟蹤很小的眼睛或面部肌肉運(yùn)動(dòng)的輔助設(shè)備逐字逐句地闡明自己的想法。但是，用這種設(shè)備產(chǎn)生文本或合成語(yǔ)音很費(fèi)力，容易出錯(cuò)且痛苦地緩慢，與自然語(yǔ)音每分鐘100到150個(gè)單詞相比，通常每分鐘最多10個(gè)單詞。

在馬里蘭州愛德華·張(Edward Chang)實(shí)驗(yàn)室正在開發(fā)的新系統(tǒng) (在《自然》中有描述) 證明，可以創(chuàng)建一個(gè)人的聲音的合成版本，該聲音可以通過(guò)其大腦的語(yǔ)音中心的活動(dòng)來(lái)控制。作者說(shuō)，在將來(lái)，這種方法不僅可以恢復(fù)與嚴(yán)重言語(yǔ)障礙者的流暢交流，而且還可以再現(xiàn)人的聲音的音樂(lè)性，傳達(dá)出說(shuō)話者的情感和個(gè)性。

UCSF威爾神經(jīng)科學(xué)研究所成員，神經(jīng)外科教授Chang表示：“這項(xiàng)研究首次證明我們可以根據(jù)個(gè)人的大腦活動(dòng)生成完整的口頭表達(dá) 。” “這是令人振奮的原則證明，借助已經(jīng)可以實(shí)現(xiàn)的技術(shù)，我們應(yīng)該能夠制造出一種在語(yǔ)言障礙患者中具有臨床可行性的設(shè)備。”

該研究由語(yǔ)音科學(xué)家Gopala Anumanchipalli博士和Chang實(shí)驗(yàn)室的生物工程研究生Josh Chartier 領(lǐng)導(dǎo) 。它建立在最近的一項(xiàng)研究的基礎(chǔ)上 ，該對(duì)研究首次描述了人腦的言語(yǔ)中心如何編排嘴唇，下巴，舌頭和其他聲道成分的運(yùn)動(dòng)以產(chǎn)生流暢的言語(yǔ)。

從這項(xiàng)工作中，Anumanchipalli和Chartier意識(shí)到，以前直接從大腦活動(dòng)中解碼語(yǔ)音的嘗試可能取得了有限的成功，因?yàn)檫@些大腦區(qū)域并不直接代表語(yǔ)音的聲學(xué)特性，而是協(xié)調(diào)聲音運(yùn)動(dòng)的指令。講話時(shí)的嘴巴和喉嚨。

“聲道的運(yùn)動(dòng)與所產(chǎn)生的語(yǔ)音之間的關(guān)系是一個(gè)復(fù)雜的關(guān)系，” Anumanchipalli說(shuō)。“我們認(rèn)為，如果大腦中的這些語(yǔ)音中心是在編碼運(yùn)動(dòng)而不是聲音，那么我們應(yīng)該在解碼這些信號(hào)時(shí)嘗試這樣做。”

在他們的新研究中，Anumancipali和Chartier要求五名在UCSF癲癇中心接受治療的志愿者 -說(shuō)話完好無(wú)缺的患者，他們的腦中臨時(shí)植入了電極，以繪制癲癇發(fā)作的來(lái)源，為神經(jīng)外科手術(shù)做準(zhǔn)備-朗讀數(shù)百句話。研究人員記錄了已知參與語(yǔ)言產(chǎn)生的大腦區(qū)域的活動(dòng)。

根據(jù)參與者聲音的音頻記錄，研究人員使用語(yǔ)言學(xué)原理對(duì)產(chǎn)生這些聲音所需的聲道運(yùn)動(dòng)進(jìn)行逆向工程：在此處將嘴唇壓在一起，在此處收緊聲帶，將舌尖移到頂部嘴，然后放松一下，依此類推。

聲音到解剖結(jié)構(gòu)的詳細(xì)映射使科學(xué)家能夠?yàn)槊總€(gè)參與者創(chuàng)建一個(gè)可以由其大腦活動(dòng)控制的逼真的虛擬聲道。這包括兩種“神經(jīng)網(wǎng)絡(luò)”機(jī)器學(xué)習(xí)算法：將語(yǔ)音過(guò)程中產(chǎn)生的大腦活動(dòng)模式轉(zhuǎn)換為虛擬聲道運(yùn)動(dòng)的解碼器，以及將這些聲道運(yùn)動(dòng)轉(zhuǎn)換為參與者語(yǔ)音的合成近似值的合成器。

研究人員發(fā)現(xiàn)，通過(guò)這些算法產(chǎn)生的合成語(yǔ)音明顯優(yōu)于直接從參與者的大腦活動(dòng)中解碼的合成語(yǔ)音，而沒(méi)有包括說(shuō)話人的聲道模擬。該算法產(chǎn)生的句子在Amazon Mechanical Turk平臺(tái)上進(jìn)行的眾包轉(zhuǎn)錄測(cè)試中為數(shù)百名聽眾所理解。

就像自然語(yǔ)言一樣，當(dāng)向轉(zhuǎn)錄者提供較短的單詞列表供他們選擇時(shí)，轉(zhuǎn)錄者會(huì)更成功，對(duì)于照料者來(lái)說(shuō)，這些詞素或詞組要求患者可能會(huì)說(shuō)出話來(lái)。記錄員從25個(gè)替代詞的列表中準(zhǔn)確地識(shí)別出69%的合成詞，并以完美的準(zhǔn)確性轉(zhuǎn)錄了43%的句子。盡管可以選擇更具挑戰(zhàn)性的50個(gè)單詞，但盡管他們?nèi)匀荒軌蛲昝赖乩斫?1%的合成句子，但他們的整體準(zhǔn)確性下降到47%。

查蒂爾承認(rèn)：“我們?nèi)匀挥幸环N方法可以完美地模仿口頭語(yǔ)言。” “我們非常擅長(zhǎng)合成“ sh”和“ z”等較慢的語(yǔ)音，并保持語(yǔ)音的節(jié)奏和語(yǔ)調(diào)以及說(shuō)話者的性別和身份，但有些更突然的聲音如“ b”和“ p”有點(diǎn)模糊。不過(guò)，與目前可用的水平相比，我們?cè)诖颂幃a(chǎn)生的準(zhǔn)確性水平將是實(shí)時(shí)通信方面的驚人改進(jìn)。”

人工智能，語(yǔ)言學(xué)和神經(jīng)科學(xué)推動(dòng)了進(jìn)步

研究人員目前正在嘗試使用更高密度的電極陣列和更高級(jí)的機(jī)器學(xué)習(xí)算法，他們希望這些算法可以進(jìn)一步改善合成語(yǔ)音。該技術(shù)的下一個(gè)主要測(cè)試是確定不會(huì)說(shuō)話的人是否可以在不使用自己的語(yǔ)音訓(xùn)練的情況下學(xué)會(huì)使用該系統(tǒng)，并將其推廣到他們想說(shuō)的任何事情。

研究人員還發(fā)現(xiàn)，參與者的聲帶運(yùn)動(dòng)神經(jīng)代碼部分重疊，并且一個(gè)研究對(duì)象的聲道模擬可以適應(yīng)其他參與者大腦記錄的神經(jīng)指令?？傊@些發(fā)現(xiàn)表明，由于神經(jīng)功能缺損而導(dǎo)致言語(yǔ)喪失的人可能能夠?qū)W習(xí)控制以完整言語(yǔ)者的聲音為模型的言語(yǔ)假體。

查蒂爾說(shuō)：“無(wú)法動(dòng)動(dòng)手臂和腿的人們已經(jīng)學(xué)會(huì)了用大腦來(lái)控制機(jī)器人肢體。” “我們希望有一天語(yǔ)言障礙者能夠使用這種大腦控制的人工聲道再次學(xué)習(xí)說(shuō)話。”

Anumanchipalli補(bǔ)充說(shuō)：“我很榮幸我們能夠匯集神經(jīng)科學(xué)，語(yǔ)言學(xué)和機(jī)器學(xué)習(xí)方面的專業(yè)知識(shí)，這是幫助神經(jīng)失能患者這一重要里程碑的一部分。”

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！