如果您的優(yōu)步司機(jī)走捷徑，您可能會(huì)更快到達(dá)目的地。但是如果機(jī)器學(xué)習(xí)模型走捷徑，它可能會(huì)以意想不到的方式失敗。在機(jī)器學(xué)習(xí)中，當(dāng)模型依賴(lài)數(shù)據(jù)集的簡(jiǎn)單特征來(lái)做出決策，而不是學(xué)習(xí)數(shù)據(jù)的真正本質(zhì)時(shí)，就會(huì)出現(xiàn)捷徑解決方案，這會(huì)導(dǎo)致預(yù)測(cè)不準(zhǔn)確。例如，模型可能會(huì)通過(guò)關(guān)注照片中出現(xiàn)的綠草，而不是更復(fù)雜的奶牛形狀和圖案來(lái)學(xué)習(xí)識(shí)別奶牛的圖像。

麻省理工學(xué)院研究人員的一項(xiàng)新研究探索了一種流行的機(jī)器學(xué)習(xí)方法中的捷徑問(wèn)題，并提出了一種解決方案，該解決方案可以通過(guò)強(qiáng)制模型在其決策中使用更多數(shù)據(jù)來(lái)防止捷徑。

通過(guò)移除模型關(guān)注的更簡(jiǎn)單的特征，研究人員迫使它專(zhuān)注于它沒(méi)有考慮過(guò)的更復(fù)雜的數(shù)據(jù)特征。然后，通過(guò)要求模型以?xún)煞N方式解決相同的任務(wù)——使用那些更簡(jiǎn)單的特征，然后使用它現(xiàn)在學(xué)會(huì)識(shí)別的復(fù)雜特征——它們減少了捷徑解決方案的趨勢(shì)并提高了模型的性能。

這項(xiàng)工作的一個(gè)潛在應(yīng)用是提高用于識(shí)別醫(yī)學(xué)圖像中疾病的機(jī)器學(xué)習(xí)模型的有效性。這種情況下的捷徑解決方案可能會(huì)導(dǎo)致錯(cuò)誤診斷并對(duì)患者產(chǎn)生危險(xiǎn)的影響。

“仍然很難說(shuō)為什么深層網(wǎng)絡(luò)會(huì)做出他們所做的決定，特別是這些網(wǎng)絡(luò)在做出決定時(shí)選擇關(guān)注哪些數(shù)據(jù)部分。如果我們能更詳細(xì)地了解捷徑是如何工作的，我們就可以更進(jìn)一步回答一些基本但非常實(shí)用的問(wèn)題，這些問(wèn)題對(duì)于嘗試部署這些網(wǎng)絡(luò)的人來(lái)說(shuō)非常重要，”博士JoshuaRobinson說(shuō)。計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)的學(xué)生和論文的第一作者。

Robinson與他的顧問(wèn)、資深作者SuvritSra、電氣工程與計(jì)算機(jī)科學(xué)系(EECS)的Esther和HaroldE.Edgerton職業(yè)發(fā)展副教授以及數(shù)據(jù)、系統(tǒng)和社會(huì)研究所的核心成員共同撰寫(xiě)了這篇論文(IDSS)和信息與決策系統(tǒng)實(shí)驗(yàn)室;和StefanieJegelka，EECSX-Consortium職業(yè)發(fā)展副教授，CSAIL和IDSS成員;以及匹茲堡大學(xué)助理教授KayhanBatmanghelich和博士。學(xué)生李孫和柯宇。該研究將在12月的神經(jīng)信息處理系統(tǒng)會(huì)議上發(fā)表。

理解捷徑的漫長(zhǎng)道路

研究人員將他們的研究重點(diǎn)放在對(duì)比學(xué)習(xí)上，這是一種強(qiáng)大的自我監(jiān)督機(jī)器學(xué)習(xí)形式。在自監(jiān)督機(jī)器學(xué)習(xí)中，使用沒(méi)有人類(lèi)標(biāo)簽描述的原始數(shù)據(jù)訓(xùn)練模型。因此，它可以成功地用于更多種類(lèi)的數(shù)據(jù)。

自監(jiān)督學(xué)習(xí)模型學(xué)習(xí)有用的數(shù)據(jù)表示，這些表示用作不同任務(wù)(如圖像分類(lèi))的輸入。但如果模型走捷徑而未能捕獲重要信息，這些任務(wù)也將無(wú)法使用該信息。

例如，如果一個(gè)自監(jiān)督學(xué)習(xí)模型被訓(xùn)練來(lái)對(duì)來(lái)自多家醫(yī)院的X光片中的進(jìn)行分類(lèi)，但它學(xué)習(xí)根據(jù)識(shí)別掃描來(lái)自的醫(yī)院的標(biāo)簽進(jìn)行預(yù)測(cè)(因?yàn)橐恍┽t(yī)院有更多的比其他案例)，當(dāng)給它來(lái)自新醫(yī)院的數(shù)據(jù)時(shí)，該模型將不會(huì)表現(xiàn)良好。

對(duì)于對(duì)比學(xué)習(xí)模型，訓(xùn)練編碼器算法以區(qū)分相似輸入對(duì)和不同輸入對(duì)。此過(guò)程以對(duì)比學(xué)習(xí)模型可以解釋的方式對(duì)豐富而復(fù)雜的數(shù)據(jù)(如圖像)進(jìn)行編碼。

研究人員用一系列圖像測(cè)試了對(duì)比學(xué)習(xí)編碼器，發(fā)現(xiàn)在這個(gè)訓(xùn)練過(guò)程中，它們也成為捷徑解決方案的犧牲品。編碼器傾向于關(guān)注圖像的最簡(jiǎn)單特征，以決定哪些輸入對(duì)相似，哪些不相似。Jegelka說(shuō)，理想情況下，編碼器在做出決策時(shí)應(yīng)該關(guān)注數(shù)據(jù)的所有有用特征。

因此，該團(tuán)隊(duì)使區(qū)分相似和不同對(duì)之間的區(qū)別變得更加困難，并發(fā)現(xiàn)編碼器將查看哪些特征來(lái)做出決定的這種變化。

“如果你讓區(qū)分相似和不同項(xiàng)目的任務(wù)變得越來(lái)越困難，那么你的系統(tǒng)將被迫從數(shù)據(jù)中學(xué)習(xí)更有意義的信息，因?yàn)槿绻涣私馑蜔o(wú)法解決任務(wù)，”她說(shuō)。

但是增加這個(gè)難度會(huì)導(dǎo)致權(quán)衡——編碼器在關(guān)注數(shù)據(jù)的某些特征方面變得更好，但在關(guān)注其他特征方面變得更糟。羅賓遜說(shuō)，它似乎幾乎忘記了更簡(jiǎn)單的功能。

為了避免這種權(quán)衡，研究人員要求編碼器以與最初相同的方式區(qū)分對(duì)，使用更簡(jiǎn)單的特征，并且在研究人員刪除它已經(jīng)學(xué)到的信息之后。同時(shí)以?xún)煞N方式解決任務(wù)導(dǎo)致編碼器在所有功能上都得到改進(jìn)。

他們的方法稱(chēng)為隱式特征修改，自適應(yīng)地修改樣本以去除編碼器用來(lái)區(qū)分對(duì)的更簡(jiǎn)單的特征。Sra解釋說(shuō)，該技術(shù)不依賴(lài)于人工輸入，這很重要，因?yàn)楝F(xiàn)實(shí)世界的數(shù)據(jù)集可能有數(shù)百種不同的特征，這些特征可以以復(fù)雜的方式組合在一起。

從汽車(chē)到慢阻肺

研究人員使用車(chē)輛圖像對(duì)這種方法進(jìn)行了一項(xiàng)測(cè)試。他們使用隱式特征修改來(lái)調(diào)整顏色、方向和車(chē)輛類(lèi)型，使編碼器更難區(qū)分相似和不同的圖像對(duì)。編碼器同時(shí)提高了所有三個(gè)特征(紋理、形狀和顏色)的準(zhǔn)確性。

為了查看該方法是否能夠承受更復(fù)雜的數(shù)據(jù)，研究人員還使用來(lái)自慢性阻塞性肺病(COPD)醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)的樣本對(duì)其進(jìn)行了測(cè)試。同樣，該方法導(dǎo)致他們?cè)u(píng)估的所有功能同時(shí)改進(jìn)。

雖然這項(xiàng)工作在理解捷徑解決方案的原因并努力解決它們方面向前邁進(jìn)了一些重要步驟，但研究人員表示，繼續(xù)改進(jìn)這些方法并將它們應(yīng)用于其他類(lèi)型的自監(jiān)督學(xué)習(xí)將是未來(lái)進(jìn)步的關(guān)鍵。

“這與深度學(xué)習(xí)系統(tǒng)的一些最大問(wèn)題有關(guān)，比如“它們?yōu)槭裁磿?huì)失敗?”和“我們能否提前知道你的模型會(huì)失敗的情況?”如果你想，還有很多路要走全面了解快捷學(xué)習(xí)，”羅賓遜說(shuō)。

　　免責(zé)聲明：本文由用戶(hù)上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！