現(xiàn)代機器學習模型，例如神經(jīng)網(wǎng)絡，通常被稱為“黑匣子”，因為它們非常復雜，以至于即使是設計它們的研究人員也無法完全理解它們是如何做出預測的。

為了提供一些見解，研究人員使用試圖描述單個模型決策的解釋方法。例如，他們可能會在電影評論中突出顯示影響模型決定評論是正面的單詞。

但是，如果人類不能輕易理解，甚至誤解它們，這些解釋方法就沒有任何用處。因此，麻省理工學院的研究人員創(chuàng)建了一個數(shù)學框架來正式量化和評估機器學習模型解釋的可理解性。如果研究人員僅評估少數(shù)個別解釋以嘗試理解整個模型，這有助于查明可能遺漏的模型行為見解。

“有了這個框架，我們不僅可以非常清楚地了解我們從這些本地解釋中對模型的了解，更重要的是，我們不了解它，”電氣工程和計算機科學專業(yè)的畢業(yè)生Yilun Zhou 說計算機科學和人工智能實驗室 (CSAIL) 的學生，也是介紹該框架的論文的主要作者。

周的合著者包括微軟研究院高級研究員 Marco Tulio Ribeiro 和高級作者、航空航天學教授、CSAIL 交互式機器人組主任 Julie Shah。該研究將在計算語言學協(xié)會北美分會會議上發(fā)表。

了解當?shù)氐慕忉?/p>

理解機器學習模型的一種方法是找到另一個模仿其預測但使用透明推理模式的模型。然而，最近的神經(jīng)網(wǎng)絡模型非常復雜，以至于這種技術通常會失敗。相反，研究人員求助于使用關注個人輸入的本地解釋。通常，這些解釋會突出顯示文本中的單詞，以表明它們對模型做出的一個預測的重要性。

然后，人們隱含地將這些局部解釋推廣到整體模型行為。有人可能會看到，當模型確定電影評論具有積極情緒時，局部解釋方法突出顯示積極詞(如“難忘”、“完美無瑕”或“迷人”)是最有影響力的。然后他們可能會假設所有積極的詞都會對模型的預測做出積極的貢獻，但情況可能并非總是如此，周說。

研究人員開發(fā)了一個框架，稱為 ExSum(解釋摘要的縮寫)，將這些類型的聲明形式化為可以使用可量化指標進行測試的規(guī)則。ExSum 評估整個數(shù)據(jù)集上的規(guī)則，而不僅僅是為其構造的單個實例。

使用圖形用戶界面，個人編寫可以調(diào)整、調(diào)整和評估的規(guī)則。例如，當研究一個學習將電影評論分類為正面或負面的模型時，人們可能會寫一條規(guī)則說“否定詞具有負面顯著性”，這意味著像“不”、“不”和“無”這樣的詞對電影評論的情緒產(chǎn)生負面影響。

使用 ExSum，用戶可以使用三個特定指標查看該規(guī)則是否成立：覆蓋率、有效性和清晰度。覆蓋率衡量規(guī)則在整個數(shù)據(jù)集中的適用范圍。有效性突出顯示符合規(guī)則的單個示例的百分比。清晰度描述了規(guī)則的精確程度;一個高度有效的規(guī)則可能非常通用，以至于對理解模型沒有用處。

測試假設

如果研究人員想要更深入地了解她的模型的行為方式，她可以使用 ExSum 來測試特定的假設，Zhou 說。

如果她懷疑她的模型在性別方面具有歧視性，她可以制定規(guī)則說男性代詞有正貢獻，女性代詞有負貢獻。如果這些規(guī)則具有很高的有效性，則意味著它們總體上是正確的，并且模型可能存在偏差。

ExSum 還可以揭示有關模型行為的意外信息。例如，在評估電影評論分類器時，研究人員驚訝地發(fā)現(xiàn)，與正面詞相比，負面詞往往對模型的決策有更尖銳和更尖銳的貢獻。周解釋說，這可能是由于評論作家在批評電影時試圖保持禮貌而不那么直率。

“要真正確認你的理解，你需要在很多情況下更嚴格地評估這些說法。據(jù)我們所知，這種細粒度級別的理解在以前的作品中從未發(fā)現(xiàn)過，”他說。

“從本地解釋到全球理解是文獻中的一個巨大差距。ExSum 是填補這一差距的良好第一步，”Ribeiro 補充道。

擴展框架

在未來，周希望通過將可理解性的概念擴展到其他標準和解釋形式，如反事實解釋(表明如何修改輸入以改變模型預測)來建立這項工作。目前，他們專注于特征歸因方法，這些方法描述了模型用于做出決策的各個特征(如電影評論中的文字)。

此外，他希望進一步增強框架和用戶界面，以便人們可以更快地創(chuàng)建規(guī)則。編寫規(guī)則可能需要數(shù)小時的人工參與——而某種程度的人工參與至關重要，因為人類最終必須能夠掌握解釋——但人工智能的幫助可以簡化這一過程。

在思考 ExSum 的未來時，周希望他們的工作強調(diào)需要改變研究人員對機器學習模型解釋的看法。

“在這項工作之前，如果你有一個正確的本地解釋，你就完成了。你已經(jīng)達到了解釋你的模型的圣杯。我們提出了這個額外的維度來確保這些解釋是可以理解的?？衫斫庑孕枰蔀樵u估的另一個指標我們的解釋，”周說。

　　免責聲明：本文由用戶上傳，與本網(wǎng)站立場無關。財經(jīng)信息僅供讀者參考，并不構成投資建議。投資者據(jù)此操作，風險自擔。 如有侵權請聯(lián)系刪除！