由于加州大學(xué)圣地亞哥分校的研究人員開發(fā)了一種新的人工神經(jīng)元設(shè)備，訓(xùn)練神經(jīng)網(wǎng)絡(luò)執(zhí)行任務(wù)，例如識(shí)別圖像或?qū)Ш阶詣?dòng)駕駛汽車，有一天可能需要更少的計(jì)算能力和硬件。該設(shè)備可以使用比現(xiàn)有基于 CMOS 的硬件少 100 到 1000 倍的能量和面積來運(yùn)行神經(jīng)網(wǎng)絡(luò)計(jì)算。

神經(jīng)網(wǎng)絡(luò)是一系列連接的人工神經(jīng)元層，其中一層的輸出為下一層提供輸入。通過應(yīng)用稱為非線性激活函數(shù)的數(shù)學(xué)計(jì)算來生成該輸入。這是運(yùn)行神經(jīng)網(wǎng)絡(luò)的關(guān)鍵部分。但是應(yīng)用這個(gè)功能需要大量的計(jì)算能力和電路，因?yàn)樗婕霸趦蓚€(gè)獨(dú)立的單元——內(nèi)存和外部處理器之間來回傳輸數(shù)據(jù)。

現(xiàn)在，加州大學(xué)圣地亞哥分校的研究人員已經(jīng)開發(fā)出一種納米尺寸的設(shè)備，可以有效地執(zhí)行激活功能。

“隨著神經(jīng)網(wǎng)絡(luò)模型變得越來越大和越來越復(fù)雜，硬件中的神經(jīng)網(wǎng)絡(luò)計(jì)算變得越來越低效，”通訊作者、加州大學(xué)圣地亞哥雅各布斯工程學(xué)院電氣和計(jì)算機(jī)工程教授 Duygu Kuzum 說。“我們開發(fā)了一種單一的納米級(jí)人工神經(jīng)元設(shè)備，可以以非常節(jié)省空間和能源的方式在硬件中實(shí)現(xiàn)這些計(jì)算。”

這項(xiàng)新研究是加州大學(xué)圣地亞哥分校電氣和計(jì)算機(jī)工程系(由庫祖姆領(lǐng)導(dǎo)，他是該大學(xué)機(jī)器集成計(jì)算和安全中心的一部分 )和美國(guó)能源部能源前沿研究中心 (EFRC) 的研究人員合作進(jìn)行的。由物理學(xué)教授 Ivan Schuller 領(lǐng)導(dǎo))，專注于開發(fā)節(jié)能人工神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)。

左：突觸設(shè)備陣列(頂部)和激活或神經(jīng)元設(shè)備陣列(底部)的特寫。右圖：使用兩個(gè)陣列構(gòu)建的定制印刷電路板。圖片來源：加州大學(xué)圣地亞哥分校

該設(shè)備實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)訓(xùn)練中最常用的激活函數(shù)之一，稱為整流線性單元。這個(gè)功能的特別之處在于它需要能夠經(jīng)歷電阻逐漸變化的硬件才能工作。而這正是加州大學(xué)圣地亞哥分校的研究人員設(shè)計(jì)他們的設(shè)備的目的——它可以逐漸從絕緣狀態(tài)轉(zhuǎn)換為導(dǎo)電狀態(tài)，并且需要一點(diǎn)熱量的幫助。

這個(gè)開關(guān)就是所謂的莫特過渡。它發(fā)生在納米級(jí)的二氧化釩層中。在該層之上是由鈦和金制成的納米線加熱器。當(dāng)電流流過納米線時(shí)，二氧化釩層會(huì)慢慢升溫，導(dǎo)致從絕緣到導(dǎo)電的緩慢、受控的轉(zhuǎn)換。

“這種設(shè)備架構(gòu)非常有趣和創(chuàng)新，”第一作者、電氣和計(jì)算機(jī)工程博士 Sangheon Oh 說。Kuzum 實(shí)驗(yàn)室的學(xué)生。他解釋說，通常情況下，莫特轉(zhuǎn)變中的材料會(huì)經(jīng)歷從絕緣到導(dǎo)電的突然轉(zhuǎn)換，因?yàn)殡娏髦苯恿鬟^材料。“在這種情況下，我們將電流流過材料頂部的納米線以加熱它并引起非常緩慢的電阻變化。”

為了實(shí)施該設(shè)備，研究人員首先制造了一系列這些所謂的激活(或神經(jīng)元)設(shè)備，以及一個(gè)突觸設(shè)備陣列。然后他們將這兩個(gè)陣列集成在定制的印刷電路板上，并將它們連接在一起以創(chuàng)建神經(jīng)網(wǎng)絡(luò)的硬件版本。

研究人員使用該網(wǎng)絡(luò)來處理圖像——在這種情況下，是加州大學(xué)圣地亞哥分校 Geisel 圖書館的照片。該網(wǎng)絡(luò)執(zhí)行一種稱為邊緣檢測(cè)的圖像處理，可識(shí)別圖像中對(duì)象的輪廓或邊緣。該實(shí)驗(yàn)表明，集成硬件系統(tǒng)可以執(zhí)行許多類型的深度神經(jīng)網(wǎng)絡(luò)必不可少的卷積運(yùn)算。

研究人員表示，該技術(shù)可以進(jìn)一步擴(kuò)展以執(zhí)行更復(fù)雜的任務(wù)，例如自動(dòng)駕駛汽車中的面部和物體識(shí)別。Kuzum 指出，如果有行業(yè)的興趣和合作，這可能會(huì)發(fā)生。

“現(xiàn)在，這是一個(gè)概念證明，”庫祖姆說。“這是一個(gè)很小的系統(tǒng)，我們只將一個(gè)突觸層和一個(gè)激活層堆疊在一起。通過將更多這些堆疊在一起，您可以為不同的應(yīng)用程序制作更復(fù)雜的系統(tǒng)。”

標(biāo)簽：