盡管神經(jīng)網(wǎng)絡可以完成所有這些，我們?nèi)匀徊徽嬲私馑鼈兪侨绾芜\作的。當然，我們可以對它們進行編程以進行學習，但是理解機器的決策過程仍然很像一個帶有令人眼花繚亂的復雜模式的奇特拼圖，其中有大量的整體部分尚未安裝。

例如，如果模型試圖對所述拼圖的圖像進行分類，它可能會遇到眾所周知但令人討厭的對抗性攻擊，甚至更多的普通數(shù)據(jù)或處理問題。但麻省理工學院科學家最近發(fā)現(xiàn)的一種新的、更微妙的故障類型是另一個令人擔憂的原因：“過度解釋”，即算法根據(jù)對人類沒有意義的細節(jié)(如隨機模式或圖像邊界)做出自信的預測。

這對于高風險環(huán)境尤其令人擔憂，例如自動駕駛汽車的瞬間決策，以及需要立即關(guān)注的疾病的醫(yī)學診斷。自動駕駛汽車尤其嚴重依賴能夠準確了解周圍環(huán)境并做出快速、安全決策的系統(tǒng)。該網(wǎng)絡使用特定的背景、邊緣或天空的特定模式來對交通信號燈和街道標志進行分類——無論圖像中還有什么。

該團隊發(fā)現(xiàn)，在CIFAR-10和ImageNet等流行數(shù)據(jù)集上訓練的神經(jīng)網(wǎng)絡存在過度解釋的問題。例如，在CIFAR-10上訓練的模型即使在95%的輸入圖像丟失時也能做出自信的預測，其余的對人類來說毫無意義。

“過度解釋是由數(shù)據(jù)集中的這些無意義信號引起的數(shù)據(jù)集問題。不僅這些高置信度圖像無法識別，而且它們在不重要的區(qū)域(例如邊界)中包含不到原始圖像的10%。我們發(fā)現(xiàn)這些圖像是對人類毫無意義，但模型仍然可以高度自信地對它們進行分類，”麻省理工學院計算機科學與人工智能實驗室博士BrandonCarter說。學生和有關(guān)該研究的論文的主要作者。

深度圖像分類器被廣泛使用。除了醫(yī)療診斷和推動自動駕駛汽車技術(shù)之外，安全、游戲甚至還有一個應用程序可以告訴你某物是不是熱狗，因為有時我們需要保證。討論中的技術(shù)通過處理來自大量預先標記的圖像中的單個像素以供網(wǎng)絡“學習”。

圖像分類很難，因為機器學習模型能夠捕捉到這些無意義的微妙信號。然后，當圖像分類器在ImageNet等數(shù)據(jù)集上進行訓練時，它們可以根據(jù)這些信號做出看似可靠的預測。

盡管這些無意義的信號會導致現(xiàn)實世界中的模型脆弱，但這些信號在數(shù)據(jù)集中實際上是有效的，這意味著無法使用基于該準確性的典型評估方法來診斷過度解釋。

為了找到模型對特定輸入進行預測的基本原理，本研究中的方法從完整圖像開始并反復詢問，我可以從該圖像中刪除什么?從本質(zhì)上講，它會不斷掩蓋圖像，直到您留下仍然可以做出自信決定的最小部分。

為此，也可以將這些方法用作一種驗證標準。例如，如果您有一輛自動駕駛汽車，它使用經(jīng)過訓練的機器學習方法來識別停車標志，您可以通過識別構(gòu)成停車標志的最小輸入子集來測試該方法。如果它由樹枝、一天中的特定時間或不是停車標志的東西組成，您可能會擔心汽車可能會在不應該停下的地方停下來。

雖然模型似乎是這里的罪魁禍首，但數(shù)據(jù)集更有可能受到指責。“存在一個問題，即我們?nèi)绾我砸环N方式修改數(shù)據(jù)集，使模型能夠被訓練以更接近地模仿人類對圖像分類的看法，因此，希望能夠在這些真實世界的場景中更好地概括，例如自動駕駛和醫(yī)學診斷，這樣模型就不會出現(xiàn)這種荒謬的行為，”卡特說。

這可能意味著在更可控的環(huán)境中創(chuàng)建數(shù)據(jù)集。目前，它只是從公共領(lǐng)域中提取的圖片然后進行分類。但是，例如，如果您想進行對象識別，則可能需要使用具有無信息背景的對象來訓練模型。

標簽：