一種新的方法可以降低計(jì)算成本，并增加對(duì)最新自然語(yǔ)言處理的可訪問(wèn)性。您不需要用大錘敲碎螺母。喬納森·弗蘭克(Jonathan Frankle)正在研究人工智能，而不是開(kāi)心果，但他的“彩票假設(shè)”也采用了相同的哲學(xué)。假設(shè)隱藏在大規(guī)模神經(jīng)網(wǎng)絡(luò)中的精益子網(wǎng)可以更有效地完成相同的任務(wù)。訣竅是找到那些被稱為中獎(jiǎng)彩票的“幸運(yùn)”子網(wǎng)。

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可能規(guī)模龐大，需要強(qiáng)大的計(jì)算能力。在對(duì)彩票假說(shuō)的測(cè)試中，麻省理工學(xué)院的研究人員發(fā)現(xiàn)了隱藏在BERT模型中的更精簡(jiǎn)，更有效的子網(wǎng)。圖片來(lái)源：麻省理工學(xué)院Jose-Luis Olivares

在一篇新論文中，F(xiàn)rankle及其同事發(fā)現(xiàn)了潛伏在BERT中的此類(lèi)子網(wǎng)，BERT是一種用于自然語(yǔ)言處理(NLP)的先進(jìn)神經(jīng)網(wǎng)絡(luò)方法。作為人工智能的一個(gè)分支，NLP旨在通過(guò)預(yù)測(cè)文本生成或在線聊天機(jī)器人等應(yīng)用程序來(lái)解密和分析人類(lèi)語(yǔ)言。在計(jì)算方面，BERT體積龐大，通常需要大多數(shù)用戶無(wú)法獲得的超級(jí)計(jì)算能力。訪問(wèn)BERT的中獎(jiǎng)彩票可以公平地進(jìn)行比賽，從而可能使更多用戶在智能手機(jī)上開(kāi)發(fā)有效的NLP工具-無(wú)需大錘。

弗蘭克勒說(shuō)：“我們正在達(dá)到必須使這些模型更精簡(jiǎn)，更高效的地步。”他補(bǔ)充說(shuō)，這一進(jìn)步有一天可能會(huì)“減少NLP的準(zhǔn)入門(mén)檻”。

麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的邁克爾·卡賓小組的博士生Frankle是該研究的共同作者，該研究將于下個(gè)月在神經(jīng)信息處理系統(tǒng)會(huì)議上發(fā)表。德克薩斯大學(xué)奧斯汀分校的陳天龍是該論文的主要作者，其中包括得克薩斯州A&M的合作者Wang Zhangyang Wang，以及所有MIT-IBM Watson AI Lab的合作者Chang Shiyu，Sisi Liu和Zhang Zhang 。

您今天可能已經(jīng)與BERT網(wǎng)絡(luò)進(jìn)行了互動(dòng)。這是Google搜索引擎的基礎(chǔ)技術(shù)之一，自Google于2018年發(fā)布BERT以來(lái)，它一直引起研究人員的興奮。BERT是一種創(chuàng)建神經(jīng)網(wǎng)絡(luò)的方法，即使用分層節(jié)點(diǎn)或“神經(jīng)元”的算法來(lái)學(xué)習(xí)執(zhí)行神經(jīng)網(wǎng)絡(luò)。通過(guò)培訓(xùn)大量實(shí)例來(lái)完成任務(wù)。BERT是通過(guò)反復(fù)嘗試填寫(xiě)寫(xiě)作段落中遺漏的單詞來(lái)進(jìn)行訓(xùn)練的，它的功能在于此初始訓(xùn)練數(shù)據(jù)集的龐大大小。然后，用戶可以將BERT的神經(jīng)網(wǎng)絡(luò)微調(diào)至特定任務(wù)，例如構(gòu)建客戶服務(wù)聊天機(jī)器人。但是爭(zhēng)吵的BERT需要大量的處理能力。

“如今，標(biāo)準(zhǔn)的BERT模型(花園品種)具有3.4億個(gè)參數(shù)，” Frankle說(shuō)，并補(bǔ)充說(shuō)，這個(gè)數(shù)字可以達(dá)到10億。對(duì)如此龐大的網(wǎng)絡(luò)進(jìn)行微調(diào)可能需要一臺(tái)超級(jí)計(jì)算機(jī)。“這簡(jiǎn)直太貴了。這遠(yuǎn)遠(yuǎn)超出了您或我的計(jì)算能力。”

陳同意。他說(shuō)，盡管BERT迅速流行，但此類(lèi)模型“仍受龐大的網(wǎng)絡(luò)規(guī)模的影響”。幸運(yùn)的是，“彩票假設(shè)似乎是一種解決方案。”

為了削減計(jì)算成本，Chen和他的同事試圖找出隱藏在BERT中的較小模型。他們通過(guò)迭代修剪整個(gè)BERT網(wǎng)絡(luò)的參數(shù)進(jìn)行了實(shí)驗(yàn)，然后將新子網(wǎng)的性能與原始BERT模型的性能進(jìn)行了比較。他們對(duì)一系列NLP任務(wù)進(jìn)行了此比較，從回答問(wèn)題到填充句子中的空白詞。

研究人員發(fā)現(xiàn)，根據(jù)任務(wù)的不同，成功的子網(wǎng)比最初的BERT模型瘦40%至90%。此外，他們能夠在運(yùn)行任何針對(duì)任務(wù)的微調(diào)之前識(shí)別出那些中獎(jiǎng)彩票，這一發(fā)現(xiàn)可以進(jìn)一步降低NLP的計(jì)算成本。在某些情況下，為一項(xiàng)任務(wù)選擇的子網(wǎng)可以重新用于另一項(xiàng)任務(wù)，盡管Frankle指出這種可移植性并不普遍。盡管如此，弗蘭克勒還是對(duì)該小組的結(jié)果感到滿意。

他說(shuō)：“我什至為這項(xiàng)工作感到震驚。” “這不是我想當(dāng)然的事情。我期待比我們得到的結(jié)果更混亂。”

Facebook AI Research的科學(xué)家阿里·莫爾科斯(Ari Morcos)認(rèn)為，在BERT模式中發(fā)現(xiàn)中獎(jiǎng)彩票是“令人信服的”。“這些模型正在變得越來(lái)越普遍，” Morcos說(shuō)。“因此，了解彩票假設(shè)是否成立很重要。” 他補(bǔ)充說(shuō)，這一發(fā)現(xiàn)可能使類(lèi)似BERT的模型使用更少的計(jì)算能力運(yùn)行，“鑒于這些超大型模型當(dāng)前的運(yùn)行成本非常高，這可能會(huì)產(chǎn)生很大的影響。”

弗蘭克(Frankle)同意。他希望這項(xiàng)工作可以使BERT更加易于使用，因?yàn)樗孓D(zhuǎn)了NLP模型不斷增長(zhǎng)的趨勢(shì)。他說(shuō)：“我不知道我們可以使用這些超級(jí)計(jì)算機(jī)式的計(jì)算來(lái)做多大的事情。” “我們將不得不減少進(jìn)入壁壘。” 確定一個(gè)精簡(jiǎn)的，贏得彩票的子網(wǎng)可以做到這一點(diǎn)-允許缺乏Google或Facebook計(jì)算能力的開(kāi)發(fā)人員仍然可以執(zhí)行最先進(jìn)的NLP。弗蘭克勒說(shuō)：“希望這將降低成本，這將使每個(gè)人都更容易使用…………那些只有一臺(tái)筆記本電腦的小家伙。” “對(duì)我來(lái)說(shuō)，真是令人興奮。”

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！