我們大多數(shù)人每天都受益于計(jì)算機(jī)現(xiàn)在可以在我們說(shuō)話或?qū)懽鲿r(shí)“理解”我們這一事實(shí)。然而，我們中很少有人停下來(lái)考慮同樣的技術(shù)可能會(huì)塑造我們的文化的潛在破壞性方式。

人類的語(yǔ)言充滿了歧義和雙重含義。例如，請(qǐng)考慮這句話的潛在含義：“我參加了項(xiàng)目課程。” 沒(méi)有上下文，這是一個(gè)模棱兩可的陳述。

計(jì)算機(jī)科學(xué)家和語(yǔ)言學(xué)家花了幾十年的時(shí)間試圖對(duì)計(jì)算機(jī)進(jìn)行編程以理解人類語(yǔ)言的細(xì)微差別。在某些方面，計(jì)算機(jī)正在快速接近人類理解和生成文本的能力。

通過(guò)建議一些單詞而不是其他單詞的行為，我們?cè)O(shè)備中的預(yù)測(cè)文本和自動(dòng)完成功能改變了我們的思維方式。通過(guò)這些微妙的日?；?dòng)，機(jī)器學(xué)習(xí)正在影響我們的文化。我們準(zhǔn)備好了嗎?

我為Kyogle 作家節(jié)創(chuàng)作了一個(gè)在線互動(dòng)作品，讓您以一種無(wú)害的方式探索這項(xiàng)技術(shù)。

什么是自然語(yǔ)言處理?

使用日常語(yǔ)言與計(jì)算機(jī)交互的領(lǐng)域稱為“自然語(yǔ)言處理”。當(dāng)我們與 Siri 或 Alexa 交談，或者在瀏覽器中輸入單詞并預(yù)測(cè)我們句子的其余部分時(shí)，我們就會(huì)遇到它。

這只能歸功于過(guò)去十年自然語(yǔ)言處理的巨大改進(jìn)——通過(guò)在龐大數(shù)據(jù)集(通常是數(shù)十億個(gè)單詞)上訓(xùn)練的復(fù)雜機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)。

去年，當(dāng)生成式預(yù)訓(xùn)練 Transformer 3 (GPT-3) 發(fā)布時(shí)，這項(xiàng)技術(shù)的潛力變得顯而易見(jiàn)。它為計(jì)算機(jī)可以用語(yǔ)言做什么設(shè)定了新的基準(zhǔn)。

GPT-3 可以通過(guò)捕獲句子中單詞之間的上下文關(guān)系，只需要幾個(gè)單詞或短語(yǔ)并生成“有意義”語(yǔ)言的整個(gè)文檔。它通過(guò)構(gòu)建機(jī)器學(xué)習(xí)模型來(lái)實(shí)現(xiàn)這一點(diǎn)，其中包括兩個(gè)被廣泛采用的模型，稱為“BERT”和“ELMO”。

這項(xiàng)技術(shù)如何影響文化?

然而，機(jī)器學(xué)習(xí)產(chǎn)生的任何語(yǔ)言模型都存在一個(gè)關(guān)鍵問(wèn)題：他們通常從維基百科和推特等數(shù)據(jù)源中學(xué)習(xí)他們所知道的一切。

實(shí)際上，機(jī)器學(xué)習(xí)從過(guò)去獲取數(shù)據(jù)，從中“學(xué)習(xí)”以生成模型，并使用該模型在未來(lái)執(zhí)行任務(wù)。但在此過(guò)程中，模型可能會(huì)從其訓(xùn)練數(shù)據(jù)中吸收扭曲或有問(wèn)題的世界觀。

如果訓(xùn)練數(shù)據(jù)有偏差，這種偏差將在模型中被編碼和強(qiáng)化，而不是受到挑戰(zhàn)。例如，模型最終可能會(huì)將某些身份群體或種族與正面詞相關(guān)聯(lián)，而將其他身份群體或種族與負(fù)面詞相關(guān)聯(lián)。

這可能會(huì)導(dǎo)致嚴(yán)重的排斥和不平等，正如最近的紀(jì)錄片Coded Bias 中所詳述的那樣。

你曾經(jīng)說(shuō)過(guò)的一切

我創(chuàng)作的互動(dòng)作品讓人們可以有趣地獲得計(jì)算機(jī)如何理解語(yǔ)言的直覺(jué)。它被稱為你曾經(jīng)說(shuō)過(guò)的一切(EYES)，參考了自然語(yǔ)言模型利用各種數(shù)據(jù)源進(jìn)行訓(xùn)練的方式。

EYES 允許您使用任何文字(少于 2000 個(gè)字符)并“減去”一個(gè)概念并“添加”另一個(gè)概念。換句話說(shuō)，它可以讓您使用計(jì)算機(jī)來(lái)更改一段文本的含義。你可以自己試試。

以下是經(jīng)過(guò)自動(dòng)修改的澳大利亞國(guó)歌示例。我減去了“帝國(guó)”的概念，加上了“考拉”的概念，得到：

“澳大利亞人都讓我們悲傷

因?yàn)槲覀兪且惑w的、自由的

我們擁有金色的生物群和豐富的貧困

我們的考拉被鼠海豚包圍

我們的野生動(dòng)物中有大量的靈長(zhǎng)類考拉

自然而然不變且稀有

在靈長(zhǎng)類動(dòng)物的袋熊中，讓每只考拉

袋熊考拉公平

歡樂(lè)曲霉病那么讓我們發(fā)聲吧，

袋熊考拉集市”

這里發(fā)生了什么?在其核心，EYES 使用由美國(guó)斯坦福大學(xué)研究人員開(kāi)發(fā)的英語(yǔ)語(yǔ)言模型，稱為GLoVe(詞表示的全局向量)。

EYES 使用 GLoVe 通過(guò)進(jìn)行一系列類比來(lái)更改文本，其中“類比”是一件事與另一件事之間的比較。例如，如果我問(wèn)你：“男人之于國(guó)王，女人之于什么?”——你可能會(huì)回答“女王”。這是一件容易的事。

但我可以問(wèn)一個(gè)更具挑戰(zhàn)性的問(wèn)題，例如：“玫瑰是刺什么是愛(ài)?” 這里有幾個(gè)可能的答案，這取決于您對(duì)語(yǔ)言的解釋。當(dāng)被問(wèn)及這些類比時(shí)，GLoVe 將分別給出“女王”和“背叛”的回答。

GLoVe 將英語(yǔ)中的每個(gè)單詞都表示為多維空間(大約 300 維)中的向量。因此，它可以對(duì)單詞進(jìn)行計(jì)算，將單詞作為數(shù)字進(jìn)行加減運(yùn)算。

賽博文化已經(jīng)到來(lái)

機(jī)器學(xué)習(xí)的問(wèn)題在于，某些概念之間的關(guān)聯(lián)仍然隱藏在一個(gè)黑盒子里。我們看不見(jiàn)也摸不著它們。使機(jī)器學(xué)習(xí)模型更加透明的方法是當(dāng)前許多研究的重點(diǎn)。

EYES 的目的是讓您以更有趣的方式嘗試這些關(guān)聯(lián)，以便您對(duì)機(jī)器學(xué)習(xí)模型如何看待世界產(chǎn)生直覺(jué)。

有些類比的辛酸會(huì)讓您感到驚訝，而其他類比可能會(huì)讓您感到困惑。然而，每一個(gè)聯(lián)想都是從普通人寫的幾十億字的龐大語(yǔ)料庫(kù)中推斷出來(lái)的。

從類似數(shù)據(jù)源中學(xué)習(xí)的 GPT-3 等模型已經(jīng)在影響我們使用語(yǔ)言的方式。用機(jī)器編寫的文本填充整個(gè)新聞提要不再是科幻小說(shuō)中的東西。這項(xiàng)技術(shù)已經(jīng)存在。

機(jī)器學(xué)習(xí)模型的文化足跡似乎只會(huì)越來(lái)越大。

標(biāo)簽： 機(jī)器學(xué)習(xí)