盡管神經(jīng)網(wǎng)絡(luò)可以完成所有這些，我們?nèi)匀徊徽嬲私馑鼈兪侨绾芜\(yùn)作的。當(dāng)然，我們可以對(duì)它們進(jìn)行編程以進(jìn)行學(xué)習(xí)，但是理解機(jī)器的決策過(guò)程仍然很像一個(gè)帶有令人眼花繚亂的復(fù)雜模式的奇特拼圖，其中有大量的整體部分尚未安裝。

例如，如果模型試圖對(duì)所述拼圖的圖像進(jìn)行分類，它可能會(huì)遇到眾所周知但令人討厭的對(duì)抗性攻擊，甚至更多的普通數(shù)據(jù)或處理問(wèn)題。但麻省理工學(xué)院科學(xué)家最近發(fā)現(xiàn)的一種新的、更微妙的故障類型是另一個(gè)令人擔(dān)憂的原因：“過(guò)度解釋”，即算法根據(jù)對(duì)人類沒(méi)有意義的細(xì)節(jié)(如隨機(jī)模式或圖像邊界)做出自信的預(yù)測(cè)。

這對(duì)于高風(fēng)險(xiǎn)環(huán)境尤其令人擔(dān)憂，例如自動(dòng)駕駛汽車的瞬間決策，以及需要立即關(guān)注的疾病的醫(yī)學(xué)診斷。自動(dòng)駕駛汽車尤其嚴(yán)重依賴能夠準(zhǔn)確了解周圍環(huán)境并做出快速、安全決策的系統(tǒng)。該網(wǎng)絡(luò)使用特定的背景、邊緣或天空的特定模式來(lái)對(duì)交通信號(hào)燈和街道標(biāo)志進(jìn)行分類——無(wú)論圖像中還有什么。

該團(tuán)隊(duì)發(fā)現(xiàn)，在CIFAR-10和ImageNet等流行數(shù)據(jù)集上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)存在過(guò)度解釋的問(wèn)題。例如，在CIFAR-10上訓(xùn)練的模型即使在95%的輸入圖像丟失時(shí)也能做出自信的預(yù)測(cè)，其余的對(duì)人類來(lái)說(shuō)毫無(wú)意義。

“過(guò)度解釋是由數(shù)據(jù)集中的這些無(wú)意義信號(hào)引起的數(shù)據(jù)集問(wèn)題。不僅這些高置信度圖像無(wú)法識(shí)別，而且它們?cè)诓恢匾膮^(qū)域(例如邊界)中包含不到原始圖像的10%。我們發(fā)現(xiàn)這些圖像是對(duì)人類毫無(wú)意義，但模型仍然可以高度自信地對(duì)它們進(jìn)行分類，”麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室博士BrandonCarter說(shuō)。學(xué)生和有關(guān)該研究的論文的主要作者。

深度圖像分類器被廣泛使用。除了醫(yī)療診斷和推動(dòng)自動(dòng)駕駛汽車技術(shù)之外，安全、游戲甚至還有一個(gè)應(yīng)用程序可以告訴你某物是不是熱狗，因?yàn)橛袝r(shí)我們需要保證。討論中的技術(shù)通過(guò)處理來(lái)自大量預(yù)先標(biāo)記的圖像中的單個(gè)像素以供網(wǎng)絡(luò)“學(xué)習(xí)”。

圖像分類很難，因?yàn)闄C(jī)器學(xué)習(xí)模型能夠捕捉到這些無(wú)意義的微妙信號(hào)。然后，當(dāng)圖像分類器在ImageNet等數(shù)據(jù)集上進(jìn)行訓(xùn)練時(shí)，它們可以根據(jù)這些信號(hào)做出看似可靠的預(yù)測(cè)。

盡管這些無(wú)意義的信號(hào)會(huì)導(dǎo)致現(xiàn)實(shí)世界中的模型脆弱，但這些信號(hào)在數(shù)據(jù)集中實(shí)際上是有效的，這意味著無(wú)法使用基于該準(zhǔn)確性的典型評(píng)估方法來(lái)診斷過(guò)度解釋。

為了找到模型對(duì)特定輸入進(jìn)行預(yù)測(cè)的基本原理，本研究中的方法從完整圖像開(kāi)始并反復(fù)詢問(wèn)，我可以從該圖像中刪除什么?從本質(zhì)上講，它會(huì)不斷掩蓋圖像，直到您留下仍然可以做出自信決定的最小部分。

為此，也可以將這些方法用作一種驗(yàn)證標(biāo)準(zhǔn)。例如，如果您有一輛自動(dòng)駕駛汽車，它使用經(jīng)過(guò)訓(xùn)練的機(jī)器學(xué)習(xí)方法來(lái)識(shí)別停車標(biāo)志，您可以通過(guò)識(shí)別構(gòu)成停車標(biāo)志的最小輸入子集來(lái)測(cè)試該方法。如果它由樹(shù)枝、一天中的特定時(shí)間或不是停車標(biāo)志的東西組成，您可能會(huì)擔(dān)心汽車可能會(huì)在不應(yīng)該停下的地方停下來(lái)。

雖然模型似乎是這里的罪魁禍?zhǔn)祝珨?shù)據(jù)集更有可能受到指責(zé)。“存在一個(gè)問(wèn)題，即我們?nèi)绾我砸环N方式修改數(shù)據(jù)集，使模型能夠被訓(xùn)練以更接近地模仿人類對(duì)圖像分類的看法，因此，希望能夠在這些真實(shí)世界的場(chǎng)景中更好地概括，例如自動(dòng)駕駛和醫(yī)學(xué)診斷，這樣模型就不會(huì)出現(xiàn)這種荒謬的行為，”卡特說(shuō)。

這可能意味著在更可控的環(huán)境中創(chuàng)建數(shù)據(jù)集。目前，它只是從公共領(lǐng)域中提取的圖片然后進(jìn)行分類。但是，例如，如果您想進(jìn)行對(duì)象識(shí)別，則可能需要使用具有無(wú)信息背景的對(duì)象來(lái)訓(xùn)練模型。

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！