如果您的優(yōu)步司機(jī)走捷徑，您可能會(huì)更快到達(dá)目的地。但是如果機(jī)器學(xué)習(xí)模型走捷徑，它可能會(huì)以意想不到的方式失敗。在機(jī)器學(xué)習(xí)中，當(dāng)模型依賴數(shù)據(jù)集的簡單特征來做出決策，而不是學(xué)習(xí)數(shù)據(jù)的真正本質(zhì)時(shí)，就會(huì)出現(xiàn)捷徑解決方案，這會(huì)導(dǎo)致預(yù)測不準(zhǔn)確。例如，模型可能會(huì)通過關(guān)注照片中出現(xiàn)的綠草，而不是更復(fù)雜的奶牛形狀和圖案來學(xué)習(xí)識(shí)別奶牛的圖像。

麻省理工學(xué)院研究人員的一項(xiàng)新研究探索了一種流行的機(jī)器學(xué)習(xí)方法中的捷徑問題，并提出了一種解決方案，該解決方案可以通過強(qiáng)制模型在其決策中使用更多數(shù)據(jù)來防止捷徑。

通過移除模型關(guān)注的更簡單的特征，研究人員迫使它專注于它沒有考慮過的更復(fù)雜的數(shù)據(jù)特征。然后，通過要求模型以兩種方式解決相同的任務(wù)——使用那些更簡單的特征，然后使用它現(xiàn)在學(xué)會(huì)識(shí)別的復(fù)雜特征——它們減少了捷徑解決方案的趨勢并提高了模型的性能。

這項(xiàng)工作的一個(gè)潛在應(yīng)用是提高用于識(shí)別醫(yī)學(xué)圖像中疾病的機(jī)器學(xué)習(xí)模型的有效性。這種情況下的捷徑解決方案可能會(huì)導(dǎo)致錯(cuò)誤診斷并對(duì)患者產(chǎn)生危險(xiǎn)的影響。

“仍然很難說為什么深層網(wǎng)絡(luò)會(huì)做出他們所做的決定，特別是這些網(wǎng)絡(luò)在做出決定時(shí)選擇關(guān)注哪些數(shù)據(jù)部分。如果我們能更詳細(xì)地了解捷徑是如何工作的，我們就可以更進(jìn)一步回答一些基本但非常實(shí)用的問題，這些問題對(duì)于嘗試部署這些網(wǎng)絡(luò)的人來說非常重要，”博士JoshuaRobinson說。計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)的學(xué)生和論文的第一作者。

Robinson與他的顧問、資深作者SuvritSra、電氣工程與計(jì)算機(jī)科學(xué)系(EECS)的Esther和HaroldE.Edgerton職業(yè)發(fā)展副教授以及數(shù)據(jù)、系統(tǒng)和社會(huì)研究所的核心成員共同撰寫了這篇論文(IDSS)和信息與決策系統(tǒng)實(shí)驗(yàn)室;和StefanieJegelka，EECSX-Consortium職業(yè)發(fā)展副教授，CSAIL和IDSS成員;以及匹茲堡大學(xué)助理教授KayhanBatmanghelich和博士。學(xué)生李孫和柯宇。該研究將在12月的神經(jīng)信息處理系統(tǒng)會(huì)議上發(fā)表。

理解捷徑的漫長道路

研究人員將他們的研究重點(diǎn)放在對(duì)比學(xué)習(xí)上，這是一種強(qiáng)大的自我監(jiān)督機(jī)器學(xué)習(xí)形式。在自監(jiān)督機(jī)器學(xué)習(xí)中，使用沒有人類標(biāo)簽描述的原始數(shù)據(jù)訓(xùn)練模型。因此，它可以成功地用于更多種類的數(shù)據(jù)。

自監(jiān)督學(xué)習(xí)模型學(xué)習(xí)有用的數(shù)據(jù)表示，這些表示用作不同任務(wù)(如圖像分類)的輸入。但如果模型走捷徑而未能捕獲重要信息，這些任務(wù)也將無法使用該信息。

例如，如果一個(gè)自監(jiān)督學(xué)習(xí)模型被訓(xùn)練來對(duì)來自多家醫(yī)院的X光片中的進(jìn)行分類，但它學(xué)習(xí)根據(jù)識(shí)別掃描來自的醫(yī)院的標(biāo)簽進(jìn)行預(yù)測(因?yàn)橐恍┽t(yī)院有更多的比其他案例)，當(dāng)給它來自新醫(yī)院的數(shù)據(jù)時(shí)，該模型將不會(huì)表現(xiàn)良好。

對(duì)于對(duì)比學(xué)習(xí)模型，訓(xùn)練編碼器算法以區(qū)分相似輸入對(duì)和不同輸入對(duì)。此過程以對(duì)比學(xué)習(xí)模型可以解釋的方式對(duì)豐富而復(fù)雜的數(shù)據(jù)(如圖像)進(jìn)行編碼。

研究人員用一系列圖像測試了對(duì)比學(xué)習(xí)編碼器，發(fā)現(xiàn)在這個(gè)訓(xùn)練過程中，它們也成為捷徑解決方案的犧牲品。編碼器傾向于關(guān)注圖像的最簡單特征，以決定哪些輸入對(duì)相似，哪些不相似。Jegelka說，理想情況下，編碼器在做出決策時(shí)應(yīng)該關(guān)注數(shù)據(jù)的所有有用特征。

因此，該團(tuán)隊(duì)使區(qū)分相似和不同對(duì)之間的區(qū)別變得更加困難，并發(fā)現(xiàn)編碼器將查看哪些特征來做出決定的這種變化。

“如果你讓區(qū)分相似和不同項(xiàng)目的任務(wù)變得越來越困難，那么你的系統(tǒng)將被迫從數(shù)據(jù)中學(xué)習(xí)更有意義的信息，因?yàn)槿绻涣私馑蜔o法解決任務(wù)，”她說。

但是增加這個(gè)難度會(huì)導(dǎo)致權(quán)衡——編碼器在關(guān)注數(shù)據(jù)的某些特征方面變得更好，但在關(guān)注其他特征方面變得更糟。羅賓遜說，它似乎幾乎忘記了更簡單的功能。

為了避免這種權(quán)衡，研究人員要求編碼器以與最初相同的方式區(qū)分對(duì)，使用更簡單的特征，并且在研究人員刪除它已經(jīng)學(xué)到的信息之后。同時(shí)以兩種方式解決任務(wù)導(dǎo)致編碼器在所有功能上都得到改進(jìn)。

他們的方法稱為隱式特征修改，自適應(yīng)地修改樣本以去除編碼器用來區(qū)分對(duì)的更簡單的特征。Sra解釋說，該技術(shù)不依賴于人工輸入，這很重要，因?yàn)楝F(xiàn)實(shí)世界的數(shù)據(jù)集可能有數(shù)百種不同的特征，這些特征可以以復(fù)雜的方式組合在一起。

從汽車到慢阻肺

研究人員使用車輛圖像對(duì)這種方法進(jìn)行了一項(xiàng)測試。他們使用隱式特征修改來調(diào)整顏色、方向和車輛類型，使編碼器更難區(qū)分相似和不同的圖像對(duì)。編碼器同時(shí)提高了所有三個(gè)特征(紋理、形狀和顏色)的準(zhǔn)確性。

為了查看該方法是否能夠承受更復(fù)雜的數(shù)據(jù)，研究人員還使用來自慢性阻塞性肺病(COPD)醫(yī)學(xué)圖像數(shù)據(jù)庫的樣本對(duì)其進(jìn)行了測試。同樣，該方法導(dǎo)致他們?cè)u(píng)估的所有功能同時(shí)改進(jìn)。

雖然這項(xiàng)工作在理解捷徑解決方案的原因并努力解決它們方面向前邁進(jìn)了一些重要步驟，但研究人員表示，繼續(xù)改進(jìn)這些方法并將它們應(yīng)用于其他類型的自監(jiān)督學(xué)習(xí)將是未來進(jìn)步的關(guān)鍵。

“這與深度學(xué)習(xí)系統(tǒng)的一些最大問題有關(guān)，比如“它們?yōu)槭裁磿?huì)失敗?”和“我們能否提前知道你的模型會(huì)失敗的情況?”如果你想，還有很多路要走全面了解快捷學(xué)習(xí)，”羅賓遜說。

標(biāo)簽：