在最近的一篇博客文章中，谷歌宣布擁有開源BERT，這是他們針對(duì)NLP應(yīng)用程序的最先進(jìn)的培訓(xùn)技術(shù)。谷歌決定這樣做的部分原因是缺乏可供開發(fā)者使用的公共數(shù)據(jù)集。BERT還包括一項(xiàng)新的雙向技術(shù)，以提高其在自然語言處理中的有效性。為了減少開發(fā)人員和研究人員訓(xùn)練NLP模型所需的時(shí)間，谷歌在Cloud Tensor Processing Unit (T PUs)中進(jìn)行了優(yōu)化，將訓(xùn)練一個(gè)模型所需的時(shí)間減少到30分鐘，而使用一個(gè)GPU只需要幾個(gè)小時(shí)。

谷歌覺得開發(fā)者缺乏NLP訓(xùn)練數(shù)據(jù)。谷歌研究科學(xué)家雅各布德夫林(Jacob Devlin)和明偉變化(Ming-Wei Change)解釋了為什么分享他們的數(shù)據(jù)集很重要：

自然語言處理最大的挑戰(zhàn)之一是缺乏訓(xùn)練數(shù)據(jù)。由于自然語言處理是一個(gè)多樣化的領(lǐng)域，有許多不同的任務(wù)，大多數(shù)特定任務(wù)的數(shù)據(jù)集只包含數(shù)千或數(shù)十萬個(gè)人類標(biāo)記的訓(xùn)練例子。然而，基于現(xiàn)代深度學(xué)習(xí)的自然語言處理模型從大量數(shù)據(jù)中獲益。當(dāng)訓(xùn)練數(shù)百萬或數(shù)十億個(gè)帶注釋的訓(xùn)練實(shí)例時(shí)，效果會(huì)有所提高。

谷歌的研究人員還開發(fā)了一項(xiàng)名為“來自變形金剛的雙向編碼器表示(BERT)”的新技術(shù)，用于訓(xùn)練具有非常大數(shù)據(jù)集的通用語言表示模型，其中包括來自網(wǎng)絡(luò)的通用文本，也稱為預(yù)訓(xùn)練。德夫林解釋了為什么這種預(yù)培訓(xùn)很重要：

然后，預(yù)訓(xùn)練的模型可以對(duì)小數(shù)據(jù)的自然語言處理任務(wù)進(jìn)行微調(diào)，如問答和情感分析。與從頭開始訓(xùn)練這些數(shù)據(jù)集相比，精度有了很大的提高。

包括基于TensorFlow的BERT源代碼、開源機(jī)器學(xué)習(xí)框架和一系列預(yù)先訓(xùn)練好的語言表示模型。谷歌發(fā)表了一篇相關(guān)論文，展示了他們?cè)?1個(gè)NLP任務(wù)上的最新結(jié)果，包括如何回答斯坦福問題數(shù)據(jù)集(SQuA Dv1.1)。

BERT與其他方法的區(qū)別在于它在訓(xùn)練前的上下文表示中是如何工作的，包括半監(jiān)督序列學(xué)習(xí)、預(yù)生成訓(xùn)練、ELMo和ULMFIT。然而，真正讓BERT與眾不同的是第一個(gè)深度雙向無監(jiān)督語言表示，它只使用純文本語料庫進(jìn)行預(yù)訓(xùn)練。德夫林解釋了為什么這種方法是獨(dú)一無二的：

預(yù)訓(xùn)練表示可以是上下文無關(guān)的或上下文敏感的，上下文表示可以是單向的或雙向的。一個(gè)上下文無關(guān)的模型，如Word2vec或GloVe，為詞匯表中的每個(gè)單詞生成一個(gè)單詞嵌入表示。例如，“銀行”一詞在“銀行賬戶”和“河流銀行”中具有相同的上下文無關(guān)表示。

上下文模型基于句子中的其他單詞生成每個(gè)單詞的表示。例如，在“我訪問了銀行賬戶”這句話中，單向上下文模型將基于“我訪問了”而不是“賬戶”來表示“銀行”。然而，BERT代表“銀行”，使用它的上一個(gè)和下一個(gè)上下文——“我訪問過。account”-要從深層神經(jīng)網(wǎng)絡(luò)的底層開始，使其深度雙向化。

單向模型的工作原理是根據(jù)句子中以前的單詞預(yù)測(cè)每個(gè)單詞。從歷史上看，雙向訓(xùn)練是困難的，因?yàn)楫?dāng)“下一個(gè)”預(yù)測(cè)器返回到“上一個(gè)”預(yù)測(cè)器時(shí)，一個(gè)單詞將不可避免地能夠在多層模型中看到自己。BERT用蒙面詞回應(yīng)了這一挑戰(zhàn)。

除了BERT中包含的新技術(shù)，谷歌還增強(qiáng)了云TPU，使開發(fā)人員和研究人員能夠快速實(shí)驗(yàn)、調(diào)試和調(diào)整模型。這些投資使谷歌能夠超越現(xiàn)有的預(yù)培訓(xùn)模式。

除了張量2傳感器庫，還可以從GitHub獲得BERT。

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！