一種新的方法可以降低計算成本，并增加對最新自然語言處理的可訪問性。您不需要用大錘敲碎螺母。喬納森·弗蘭克(Jonathan Frankle)正在研究人工智能，而不是開心果，但他的“彩票假設”也采用了相同的哲學。假設隱藏在大規(guī)模神經網絡中的精益子網可以更有效地完成相同的任務。訣竅是找到那些被稱為中獎彩票的“幸運”子網。

深度學習神經網絡可能規(guī)模龐大，需要強大的計算能力。在對彩票假說的測試中，麻省理工學院的研究人員發(fā)現了隱藏在BERT模型中的更精簡，更有效的子網。圖片來源：麻省理工學院Jose-Luis Olivares

在一篇新論文中，Frankle及其同事發(fā)現了潛伏在BERT中的此類子網，BERT是一種用于自然語言處理(NLP)的先進神經網絡方法。作為人工智能的一個分支，NLP旨在通過預測文本生成或在線聊天機器人等應用程序來解密和分析人類語言。在計算方面，BERT體積龐大，通常需要大多數用戶無法獲得的超級計算能力。訪問BERT的中獎彩票可以公平地進行比賽，從而可能使更多用戶在智能手機上開發(fā)有效的NLP工具-無需大錘。

弗蘭克勒說：“我們正在達到必須使這些模型更精簡，更高效的地步。”他補充說，這一進步有一天可能會“減少NLP的準入門檻”。

麻省理工學院計算機科學與人工智能實驗室的邁克爾·卡賓小組的博士生Frankle是該研究的共同作者，該研究將于下個月在神經信息處理系統(tǒng)會議上發(fā)表。德克薩斯大學奧斯汀分校的陳天龍是該論文的主要作者，其中包括得克薩斯州A&M的合作者Wang Zhangyang Wang，以及所有MIT-IBM Watson AI Lab的合作者Chang Shiyu，Sisi Liu和Zhang Zhang 。

您今天可能已經與BERT網絡進行了互動。這是Google搜索引擎的基礎技術之一，自Google于2018年發(fā)布BERT以來，它一直引起研究人員的興奮。BERT是一種創(chuàng)建神經網絡的方法，即使用分層節(jié)點或“神經元”的算法來學習執(zhí)行神經網絡。通過培訓大量實例來完成任務。BERT是通過反復嘗試填寫寫作段落中遺漏的單詞來進行訓練的，它的功能在于此初始訓練數據集的龐大大小。然后，用戶可以將BERT的神經網絡微調至特定任務，例如構建客戶服務聊天機器人。但是爭吵的BERT需要大量的處理能力。

“如今，標準的BERT模型(花園品種)具有3.4億個參數，” Frankle說，并補充說，這個數字可以達到10億。對如此龐大的網絡進行微調可能需要一臺超級計算機。“這簡直太貴了。這遠遠超出了您或我的計算能力。”

陳同意。他說，盡管BERT迅速流行，但此類模型“仍受龐大的網絡規(guī)模的影響”。幸運的是，“彩票假設似乎是一種解決方案。”

為了削減計算成本，Chen和他的同事試圖找出隱藏在BERT中的較小模型。他們通過迭代修剪整個BERT網絡的參數進行了實驗，然后將新子網的性能與原始BERT模型的性能進行了比較。他們對一系列NLP任務進行了此比較，從回答問題到填充句子中的空白詞。

研究人員發(fā)現，根據任務的不同，成功的子網比最初的BERT模型瘦40%至90%。此外，他們能夠在運行任何針對任務的微調之前識別出那些中獎彩票，這一發(fā)現可以進一步降低NLP的計算成本。在某些情況下，為一項任務選擇的子網可以重新用于另一項任務，盡管Frankle指出這種可移植性并不普遍。盡管如此，弗蘭克勒還是對該小組的結果感到滿意。

他說：“我什至為這項工作感到震驚。” “這不是我想當然的事情。我期待比我們得到的結果更混亂。”

Facebook AI Research的科學家阿里·莫爾科斯(Ari Morcos)認為，在BERT模式中發(fā)現中獎彩票是“令人信服的”。“這些模型正在變得越來越普遍，” Morcos說。“因此，了解彩票假設是否成立很重要。” 他補充說，這一發(fā)現可能使類似BERT的模型使用更少的計算能力運行，“鑒于這些超大型模型當前的運行成本非常高，這可能會產生很大的影響。”

弗蘭克(Frankle)同意。他希望這項工作可以使BERT更加易于使用，因為它逆轉了NLP模型不斷增長的趨勢。他說：“我不知道我們可以使用這些超級計算機式的計算來做多大的事情。” “我們將不得不減少進入壁壘。” 確定一個精簡的，贏得彩票的子網可以做到這一點-允許缺乏Google或Facebook計算能力的開發(fā)人員仍然可以執(zhí)行最先進的NLP。弗蘭克勒說：“希望這將降低成本，這將使每個人都更容易使用…………那些只有一臺筆記本電腦的小家伙。” “對我來說，真是令人興奮。”

　　免責聲明：本文由用戶上傳，與本網站立場無關。財經信息僅供讀者參考，并不構成投資建議。投資者據此操作，風險自擔。 如有侵權請聯(lián)系刪除！