喬納森·弗蘭克(Jonathan Frankle)正在研究人工智能，而不是開(kāi)心果，但同樣的哲學(xué)也適用于他的“彩票假設(shè)”。它假定，隱藏在大規(guī)模神經(jīng)網(wǎng)絡(luò)中的精益子網(wǎng)可以更有效地完成相同的任務(wù)。訣竅是找到那些被稱為中獎(jiǎng)彩票的“幸運(yùn)”子網(wǎng)。

在一篇新論文中，F(xiàn)rankle及其同事發(fā)現(xiàn)了潛伏在BERT中的此類子網(wǎng)，BERT是一種用于自然語(yǔ)言處理(NLP)的先進(jìn)神經(jīng)網(wǎng)絡(luò)方法。作為人工智能的一個(gè)分支，NLP旨在通過(guò)預(yù)測(cè)文本生成或在線聊天機(jī)器人等應(yīng)用程序來(lái)解密和分析人類語(yǔ)言。在計(jì)算方面，BERT體積龐大，通常需要大多數(shù)用戶無(wú)法獲得的超級(jí)計(jì)算能力。可以使用BERT的中獎(jiǎng)彩票，可以公平競(jìng)爭(zhēng)，從而可能使更多用戶在智能手機(jī)上開(kāi)發(fā)有效的NLP工具，而無(wú)需使用大錘。

弗蘭克勒說(shuō)：“我們正在達(dá)到必須使這些模型更精簡(jiǎn)，更高效的地步。”他補(bǔ)充說(shuō)，這一進(jìn)步有一天可能會(huì)“減少NLP的準(zhǔn)入門檻”。

Frankle博士 該研究的共同作者是麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的邁克爾·卡賓小組的學(xué)生，該研究將于下個(gè)月在神經(jīng)信息處理系統(tǒng)會(huì)議上發(fā)表。德克薩斯大學(xué)奧斯汀分校的陳天龍是該論文的主要作者，其中包括得克薩斯州A&M的合作者Wang Zhangyang Wang，以及所有MIT-IBM Watson AI Lab的常石宇，劉思佳和張揚(yáng)。

您今天可能已經(jīng)與BERT網(wǎng)絡(luò)進(jìn)行了互動(dòng)。這是Google搜索引擎的基礎(chǔ)技術(shù)之一，自Google于2018年發(fā)布BERT以來(lái)，它一直引起研究人員的興奮。BERT是一種創(chuàng)建神經(jīng)網(wǎng)絡(luò)的方法，即使用分層節(jié)點(diǎn)或“神經(jīng)元”的算法來(lái)學(xué)習(xí)執(zhí)行神經(jīng)網(wǎng)絡(luò)。通過(guò)培訓(xùn)大量實(shí)例來(lái)完成任務(wù)。BERT是通過(guò)反復(fù)嘗試填寫寫作段落中遺漏的單詞來(lái)進(jìn)行訓(xùn)練的，其力量在于此初始訓(xùn)練數(shù)據(jù)集的龐大規(guī)模。然后，用戶可以將BERT的神經(jīng)網(wǎng)絡(luò)微調(diào)至特定任務(wù)，例如構(gòu)建客戶服務(wù)聊天機(jī)器人。但是爭(zhēng)吵的BERT需要大量的處理能力。

弗蘭克爾說(shuō)：“如今，標(biāo)準(zhǔn)的BERT模型(花園品種)具有3.4億個(gè)參數(shù)，”他補(bǔ)充說(shuō)，這個(gè)數(shù)字可以達(dá)到10億。對(duì)如此龐大的網(wǎng)絡(luò)進(jìn)行微調(diào)可能需要一臺(tái)超級(jí)計(jì)算機(jī)。“這簡(jiǎn)直太貴了。這遠(yuǎn)遠(yuǎn)超出了您或我的計(jì)算能力。”

陳同意。他說(shuō)，盡管BERT迅速流行，但此類模型“仍受龐大的網(wǎng)絡(luò)規(guī)模的影響”。幸運(yùn)的是，“彩票假設(shè)似乎是一種解決方案”。

為了削減計(jì)算成本，Chen和他的同事試圖找出隱藏在BERT中的較小模型。他們通過(guò)迭代修剪整個(gè)BERT網(wǎng)絡(luò)的參數(shù)進(jìn)行了實(shí)驗(yàn)，然后將新子網(wǎng)的性能與原始BERT模型的性能進(jìn)行了比較。他們對(duì)一系列NLP任務(wù)進(jìn)行了此比較，從回答問(wèn)題到填充句子中的空白詞。

研究人員發(fā)現(xiàn)，根據(jù)任務(wù)的不同，成功的子網(wǎng)比最初的BERT模型薄40%至90%。另外，他們能夠在運(yùn)行任何特定任務(wù)的微調(diào)之前識(shí)別出那些中獎(jiǎng)彩票，這一發(fā)現(xiàn)可以進(jìn)一步降低NLP的計(jì)算成本。在某些情況下，為一項(xiàng)任務(wù)選擇的子網(wǎng)可以重新用于另一項(xiàng)任務(wù)，盡管Frankle指出這種可移植性并不普遍。盡管如此，弗蘭克勒還是對(duì)該小組的結(jié)果感到滿意。

他說(shuō)：“我什至為這項(xiàng)工作感到震驚。” “這不是我想當(dāng)然的事情。我期望比我們得到的結(jié)果更混亂。”

Facebook AI Research的科學(xué)家阿里·莫爾科斯(Ari Morcos)稱，在BERT模式中發(fā)現(xiàn)中獎(jiǎng)彩票的發(fā)現(xiàn)“令人信服”。“這些模型正變得越來(lái)越普遍，” Morcos說(shuō)。“因此了解彩票假設(shè)是否成立很重要。” 他補(bǔ)充說(shuō)，這一發(fā)現(xiàn)可能使類似BERT的模型使用更少的計(jì)算能力運(yùn)行，“鑒于這些非常大的模型當(dāng)前運(yùn)行成本非常高，這可能會(huì)產(chǎn)生很大的影響。”

弗蘭克(Frankle)同意。他希望這項(xiàng)工作可以使BERT更易于訪問(wèn)，因?yàn)樗孓D(zhuǎn)了NLP模型不斷增長(zhǎng)的趨勢(shì)。他說(shuō)：“我不知道使用這些超級(jí)計(jì)算機(jī)風(fēng)格的計(jì)算可以得到多大的收益。” “我們將不得不減少進(jìn)入壁壘。” 確定一個(gè)精簡(jiǎn)的，贏得彩票的子網(wǎng)可以做到這一點(diǎn)，從而使缺乏Google或Facebook計(jì)算能力的開(kāi)發(fā)人員仍然可以執(zhí)行先進(jìn)的NLP。弗蘭克爾說(shuō)：“希望這樣做可以降低成本，使每個(gè)人都可以使用它……對(duì)于那些只有筆記本電腦的小家伙來(lái)說(shuō)，”。“對(duì)我來(lái)說(shuō)，真的很令人興奮。”

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！