現(xiàn)代機(jī)器學(xué)習(xí)模型，例如神經(jīng)網(wǎng)絡(luò)，通常被稱為“黑匣子”，因?yàn)樗鼈兎浅?fù)雜，以至于即使是設(shè)計(jì)它們的研究人員也無法完全理解它們是如何做出預(yù)測的。

為了提供一些見解，研究人員使用試圖描述單個(gè)模型決策的解釋方法。例如，他們可能會(huì)在電影評論中突出顯示影響模型決定評論是正面的單詞。

但是，如果人類不能輕易理解，甚至誤解它們，這些解釋方法就沒有任何用處。因此，麻省理工學(xué)院的研究人員創(chuàng)建了一個(gè)數(shù)學(xué)框架來正式量化和評估機(jī)器學(xué)習(xí)模型解釋的可理解性。如果研究人員僅評估少數(shù)個(gè)別解釋以嘗試?yán)斫庹麄€(gè)模型，這有助于查明可能遺漏的模型行為見解。

“有了這個(gè)框架，我們不僅可以非常清楚地了解我們從這些本地解釋中對模型的了解，更重要的是，我們不了解它，”電氣工程和計(jì)算機(jī)科學(xué)專業(yè)的畢業(yè)生Yilun Zhou 說計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室 (CSAIL) 的學(xué)生，也是介紹該框架的論文的主要作者。

周的合著者包括微軟研究院高級(jí)研究員 Marco Tulio Ribeiro 和高級(jí)作者、航空航天學(xué)教授、CSAIL 交互式機(jī)器人組主任 Julie Shah。該研究將在計(jì)算語言學(xué)協(xié)會(huì)北美分會(huì)會(huì)議上發(fā)表。

了解當(dāng)?shù)氐慕忉?/p>

理解機(jī)器學(xué)習(xí)模型的一種方法是找到另一個(gè)模仿其預(yù)測但使用透明推理模式的模型。然而，最近的神經(jīng)網(wǎng)絡(luò)模型非常復(fù)雜，以至于這種技術(shù)通常會(huì)失敗。相反，研究人員求助于使用關(guān)注個(gè)人輸入的本地解釋。通常，這些解釋會(huì)突出顯示文本中的單詞，以表明它們對模型做出的一個(gè)預(yù)測的重要性。

然后，人們隱含地將這些局部解釋推廣到整體模型行為。有人可能會(huì)看到，當(dāng)模型確定電影評論具有積極情緒時(shí)，局部解釋方法突出顯示積極詞(如“難忘”、“完美無瑕”或“迷人”)是最有影響力的。然后他們可能會(huì)假設(shè)所有積極的詞都會(huì)對模型的預(yù)測做出積極的貢獻(xiàn)，但情況可能并非總是如此，周說。

研究人員開發(fā)了一個(gè)框架，稱為 ExSum(解釋摘要的縮寫)，將這些類型的聲明形式化為可以使用可量化指標(biāo)進(jìn)行測試的規(guī)則。ExSum 評估整個(gè)數(shù)據(jù)集上的規(guī)則，而不僅僅是為其構(gòu)造的單個(gè)實(shí)例。

使用圖形用戶界面，個(gè)人編寫可以調(diào)整、調(diào)整和評估的規(guī)則。例如，當(dāng)研究一個(gè)學(xué)習(xí)將電影評論分類為正面或負(fù)面的模型時(shí)，人們可能會(huì)寫一條規(guī)則說“否定詞具有負(fù)面顯著性”，這意味著像“不”、“不”和“無”這樣的詞對電影評論的情緒產(chǎn)生負(fù)面影響。

使用 ExSum，用戶可以使用三個(gè)特定指標(biāo)查看該規(guī)則是否成立：覆蓋率、有效性和清晰度。覆蓋率衡量規(guī)則在整個(gè)數(shù)據(jù)集中的適用范圍。有效性突出顯示符合規(guī)則的單個(gè)示例的百分比。清晰度描述了規(guī)則的精確程度;一個(gè)高度有效的規(guī)則可能非常通用，以至于對理解模型沒有用處。

測試假設(shè)

如果研究人員想要更深入地了解她的模型的行為方式，她可以使用 ExSum 來測試特定的假設(shè)，Zhou 說。

如果她懷疑她的模型在性別方面具有歧視性，她可以制定規(guī)則說男性代詞有正貢獻(xiàn)，女性代詞有負(fù)貢獻(xiàn)。如果這些規(guī)則具有很高的有效性，則意味著它們總體上是正確的，并且模型可能存在偏差。

ExSum 還可以揭示有關(guān)模型行為的意外信息。例如，在評估電影評論分類器時(shí)，研究人員驚訝地發(fā)現(xiàn)，與正面詞相比，負(fù)面詞往往對模型的決策有更尖銳和更尖銳的貢獻(xiàn)。周解釋說，這可能是由于評論作家在批評電影時(shí)試圖保持禮貌而不那么直率。

“要真正確認(rèn)你的理解，你需要在很多情況下更嚴(yán)格地評估這些說法。據(jù)我們所知，這種細(xì)粒度級(jí)別的理解在以前的作品中從未發(fā)現(xiàn)過，”他說。

“從本地解釋到全球理解是文獻(xiàn)中的一個(gè)巨大差距。ExSum 是填補(bǔ)這一差距的良好第一步，”Ribeiro 補(bǔ)充道。

擴(kuò)展框架

在未來，周希望通過將可理解性的概念擴(kuò)展到其他標(biāo)準(zhǔn)和解釋形式，如反事實(shí)解釋(表明如何修改輸入以改變模型預(yù)測)來建立這項(xiàng)工作。目前，他們專注于特征歸因方法，這些方法描述了模型用于做出決策的各個(gè)特征(如電影評論中的文字)。

此外，他希望進(jìn)一步增強(qiáng)框架和用戶界面，以便人們可以更快地創(chuàng)建規(guī)則。編寫規(guī)則可能需要數(shù)小時(shí)的人工參與——而某種程度的人工參與至關(guān)重要，因?yàn)槿祟愖罱K必須能夠掌握解釋——但人工智能的幫助可以簡化這一過程。

在思考 ExSum 的未來時(shí)，周希望他們的工作強(qiáng)調(diào)需要改變研究人員對機(jī)器學(xué)習(xí)模型解釋的看法。

“在這項(xiàng)工作之前，如果你有一個(gè)正確的本地解釋，你就完成了。你已經(jīng)達(dá)到了解釋你的模型的圣杯。我們提出了這個(gè)額外的維度來確保這些解釋是可以理解的?？衫斫庑孕枰蔀樵u估的另一個(gè)指標(biāo)我們的解釋，”周說。

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！