麻省理工學(xué)院的研究人員設(shè)計(jì)了一種新穎的方法，可以從用于訓(xùn)練機(jī)器學(xué)習(xí)模型的圖像中收集更多信息，包括可以分析醫(yī)學(xué)掃描以幫助診斷和治療腦部疾病的圖像。

活躍的醫(yī)學(xué)新領(lǐng)域涉及訓(xùn)練深度學(xué)習(xí)模型，以檢測(cè)與神經(jīng)系統(tǒng)疾病和病癥(例如阿爾茨海默氏病和多發(fā)性硬化癥)相關(guān)的大腦掃描的結(jié)構(gòu)模式。但是收集訓(xùn)練數(shù)據(jù)很費(fèi)力：每次掃描中的所有解剖結(jié)構(gòu)必須分別由神經(jīng)病學(xué)專家單獨(dú)概述或手工標(biāo)記。而且，在某些情況下，例如對(duì)于兒童罕見的腦部疾病，一開始只能進(jìn)行幾次掃描。

在最近的計(jì)算機(jī)視覺和模式識(shí)別會(huì)議上發(fā)表的一篇論文中，麻省理工學(xué)院的研究人員描述了一種系統(tǒng)，該系統(tǒng)使用單個(gè)標(biāo)記的掃描以及未標(biāo)記的掃描來(lái)自動(dòng)合成大量不同訓(xùn)練示例的數(shù)據(jù)集。該數(shù)據(jù)集可用于更好地訓(xùn)練機(jī)器學(xué)習(xí)模型，以在新的掃描中找到解剖結(jié)構(gòu)-訓(xùn)練數(shù)據(jù)越多，這些預(yù)測(cè)就越好。

麻省理工學(xué)院的研究人員開發(fā)了一種系統(tǒng)，該系統(tǒng)可以從未標(biāo)記的數(shù)據(jù)中收集更多的標(biāo)記訓(xùn)練數(shù)據(jù)，這可以幫助機(jī)器學(xué)習(xí)模型更好地檢測(cè)與神經(jīng)系統(tǒng)疾病相關(guān)的大腦掃描中的結(jié)構(gòu)模式。該系統(tǒng)了解未標(biāo)記掃描的結(jié)構(gòu)和外觀變化，并使用該信息將一個(gè)標(biāo)記掃描塑造和塑造為成千上萬(wàn)個(gè)新的，不同的標(biāo)記掃描。圖片由研究人員提供

工作的關(guān)鍵是自動(dòng)為“圖像分割”過(guò)程生成數(shù)據(jù)，該過(guò)程將圖像劃分為更有意義且更易于分析的像素區(qū)域。為此，該系統(tǒng)使用了卷積神經(jīng)網(wǎng)絡(luò)(CNN)，這是一種機(jī)器學(xué)習(xí)模型，現(xiàn)已成為圖像處理任務(wù)的強(qiáng)大動(dòng)力。該網(wǎng)絡(luò)分析了來(lái)自不同患者和不同設(shè)備的許多未標(biāo)記掃描結(jié)果，以“學(xué)習(xí)”解剖結(jié)構(gòu)，亮度和對(duì)比度變化。然后，它將那些學(xué)習(xí)到的變化的隨機(jī)組合應(yīng)用于單個(gè)標(biāo)記的掃描，以合成既現(xiàn)實(shí)又準(zhǔn)確標(biāo)記的新掃描。然后，將這些新合成的掃描輸入到不同的CNN中，該CNN學(xué)習(xí)如何分割新圖像。

“我們希望這將使您在沒有大量訓(xùn)練數(shù)據(jù)的現(xiàn)實(shí)情況下更容易進(jìn)行圖像分割，”第一作者，電氣工程與計(jì)算機(jī)科學(xué)系(EECS)的研究生Amy Zhao說(shuō)，計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)。“在我們的方法中，您可以學(xué)習(xí)模仿未標(biāo)記掃描的變化，從而智能地合成大型數(shù)據(jù)集以訓(xùn)練您的網(wǎng)絡(luò)。”

趙說(shuō)，人們有興趣使用該系統(tǒng)來(lái)幫助訓(xùn)練馬薩諸塞州總醫(yī)院的預(yù)測(cè)分析模型，在兒童患者中，只有一兩次被標(biāo)記的掃描可能存在特別罕見的腦部疾病。

加入趙的論文是：EECS和CSAIL的博士后Guha Balakrishnan;EECS教授弗雷多·杜蘭德(Fredo Durand)和約翰·古塔格(John Guttag)，以及資深作者阿德里安·達(dá)爾卡(Adrian Dalca)，他也是哈佛醫(yī)學(xué)院放射學(xué)的教員。

系統(tǒng)背后的“魔術(shù)”

盡管現(xiàn)在已應(yīng)用于醫(yī)學(xué)成像，但該系統(tǒng)實(shí)際上最初是為智能手機(jī)應(yīng)用程序合成訓(xùn)練數(shù)據(jù)的一種方法，該應(yīng)用程序可以從流行的可收集紙牌游戲“ Magic：The Gathering”中識(shí)別和檢索有關(guān)紙牌的信息。“ Magic”發(fā)行于1990年代初，擁有20,000多張獨(dú)特的卡片，每隔幾個(gè)月就會(huì)發(fā)行更多張，玩家可以用來(lái)構(gòu)建定制的游戲套牌。

狂熱的“ Magic”播放器Zhao想要開發(fā)一個(gè)使用CNN的應(yīng)用程序，該應(yīng)用程序可以使用智能手機(jī)攝像頭為任何一張卡拍照，并自動(dòng)從在線卡數(shù)據(jù)庫(kù)中提取價(jià)格和等級(jí)等信息。“當(dāng)我從游戲商店挑選卡片時(shí)，我已經(jīng)厭倦了將所有名字都輸入到手機(jī)中并查找等級(jí)和組合，”趙說(shuō)。“如果我可以用手機(jī)掃描它們并提取信息，那會(huì)很棒嗎?”

但是她意識(shí)到這是一項(xiàng)非常艱巨的計(jì)算機(jī)視覺培訓(xùn)任務(wù)。“您需要在所有不同的光照條件和角度下，所有20,000張卡片的許多照片。沒有人會(huì)收集那個(gè)數(shù)據(jù)集。”趙說(shuō)。

取而代之的是，Zhao在約200張卡片的較小數(shù)據(jù)集上訓(xùn)練了CNN，并為每張卡片制作了10張不同的照片，以學(xué)習(xí)如何將卡片扭曲到各個(gè)位置。它計(jì)算了不同的光照，角度和反射(用于將卡片放置在塑料套中的情況)，以合成數(shù)據(jù)集中任何卡片的逼真的變形版本。Zhao說(shuō)，這是一個(gè)激動(dòng)人心的熱情項(xiàng)目：“但是我們意識(shí)到這種方法確實(shí)非常適合醫(yī)學(xué)圖像，因?yàn)檫@種變形非常適合MRI。”

精神扭曲

磁共振圖像(MRI)由稱為像素的三維像素組成。在對(duì)MRI進(jìn)行分段時(shí)，專家會(huì)根據(jù)包含體素的解剖結(jié)構(gòu)來(lái)分離和標(biāo)記體素區(qū)域。由使用的單個(gè)大腦和設(shè)備的差異導(dǎo)致的掃描多樣性給使用機(jī)器學(xué)習(xí)自動(dòng)執(zhí)行此過(guò)程帶來(lái)了挑戰(zhàn)。

一些現(xiàn)有方法可以使用“數(shù)據(jù)增強(qiáng)”從標(biāo)記掃描中合成訓(xùn)練示例，這會(huì)將標(biāo)記的體素扭曲到不同的位置。但是這些方法需要專家手寫各種增強(qiáng)準(zhǔn)則，并且某些合成掃描看起來(lái)并不像真實(shí)的人腦，這可能對(duì)學(xué)習(xí)過(guò)程有害。

相反，研究人員的系統(tǒng)會(huì)自動(dòng)學(xué)習(xí)如何合成逼真的掃描。研究人員在對(duì)來(lái)自真實(shí)患者的100次無(wú)標(biāo)簽掃描中訓(xùn)練了他們的系統(tǒng)，以計(jì)算空間轉(zhuǎn)換 - 掃描之間的解剖對(duì)應(yīng)。這產(chǎn)生了盡可能多的“流場(chǎng)”，這些流場(chǎng)模擬了體素如何從一次掃描移動(dòng)到另一次掃描。同時(shí)，它計(jì)算強(qiáng)度變換，該變換捕獲由圖像對(duì)比度，噪聲和其他因素引起的外觀變化。

在生成新掃描時(shí)，系統(tǒng)將隨機(jī)流場(chǎng)應(yīng)用于原始標(biāo)記的掃描，該掃描流圍繞體素移動(dòng)，直到結(jié)構(gòu)上與真實(shí)的未標(biāo)記掃描相匹配。然后，它覆蓋了隨機(jī)強(qiáng)度轉(zhuǎn)換。最后，系統(tǒng)通過(guò)遵循體素在流場(chǎng)中的移動(dòng)方式將標(biāo)簽映射到新結(jié)構(gòu)。最后，合成掃描與真實(shí)的，未標(biāo)記的掃描非常相似，但是具有準(zhǔn)確的標(biāo)記。

為了測(cè)試其自動(dòng)分割的準(zhǔn)確性，研究人員使用了Dice分?jǐn)?shù)，該分?jǐn)?shù)以0到1的比例來(lái)衡量一種3-D形狀在另一種形狀上的擬合程度。他們將其系統(tǒng)與傳統(tǒng)的分割方法(手動(dòng)和自動(dòng))在30種不同的形狀上進(jìn)行了比較進(jìn)行100次不間斷測(cè)試掃描的大腦結(jié)構(gòu)。在所有方法中，大型結(jié)構(gòu)都相當(dāng)精確。但是研究人員的系統(tǒng)在較小結(jié)構(gòu)上的表現(xiàn)優(yōu)于所有其他方法，例如海馬，按體積計(jì)僅占大腦的0.6%。

“這表明我們的方法比其他方法有所改進(jìn)，特別是當(dāng)您進(jìn)入較小的結(jié)構(gòu)時(shí)，這對(duì)于理解疾病非常重要，” Zhao說(shuō)。“而且我們做到了，而只需要進(jìn)行一次手工標(biāo)記的掃描。”

為了紀(jì)念該作品的“魔術(shù)”根源，該代碼已在Github上公開發(fā)布， 并以其中一張游戲卡“ Brainstorm”的名義公開 提供。

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！