眾所周知，修剪可以促進(jìn)植被的蓬勃發(fā)展。在這里剪一剪，在那里剪一剪，可以控制和引導(dǎo)生長(zhǎng)，使植物更有活力。相同的原理可以應(yīng)用于機(jī)器學(xué)習(xí)算法。沿這些算法中的編碼分支刪除位和片段可以降低決策樹(shù)的復(fù)雜性并提高預(yù)測(cè)性能。

美國(guó)能源部太平洋西北國(guó)家實(shí)驗(yàn)室(PNNL)的研究人員正是這樣做的。通過(guò)二值化神經(jīng)網(wǎng)絡(luò)(BNN)的探索，他們使用修剪原理來(lái)顯著降低計(jì)算復(fù)雜性和內(nèi)存需求。BNN是深度神經(jīng)網(wǎng)絡(luò)的近親，需要大量的計(jì)算。但是BNN的顯著差異是：它們使用單??個(gè)位對(duì)每個(gè)神經(jīng)元和參數(shù)進(jìn)行編碼，而使用的能量和功率卻少得多。

修剪以加快增長(zhǎng)

研究人員認(rèn)識(shí)到，從2016年左右開(kāi)始，BNN在機(jī)器學(xué)習(xí)中的潛在價(jià)值。如果以正確的方式構(gòu)建或修剪BNN，它們將消耗更少的計(jì)算能量，并且?guī)缀跖c深度神經(jīng)網(wǎng)絡(luò)一樣精確。這意味著B(niǎo)NN更有潛力受益于資源受限的環(huán)境，例如手機(jī)，智能設(shè)備和整個(gè)物聯(lián)網(wǎng)生態(tài)系統(tǒng)。

這是修剪起作用的地方。隨著近年來(lái)神經(jīng)網(wǎng)絡(luò)研究的發(fā)展，修剪已引起計(jì)算機(jī)研究人員的更多興趣。

PNNL計(jì)算機(jī)科學(xué)家Ang Li說(shuō)：“修剪目前是機(jī)器學(xué)習(xí)中的熱門(mén)話題。” “我們可以添加軟件和架構(gòu)編碼，以將修整推向一個(gè)對(duì)計(jì)算設(shè)備的性能有更多好處的方向。這些好處包括更低的能源需求和更低的計(jì)算成本。”

PNNL計(jì)算機(jī)科學(xué)家Ang Li表示，隨著近年來(lái)神經(jīng)網(wǎng)絡(luò)研究的發(fā)展，修剪已引起計(jì)算機(jī)研究人員的更多興趣。圖片來(lái)源：Andrea Starr | 太平洋西北國(guó)家實(shí)驗(yàn)室

修剪精度

Li是一組PNNL研究人員之一，最近他們?cè)陔姎馀c電子工程師協(xié)會(huì)關(guān)于并行和分布式系統(tǒng)的交易中發(fā)表了研究結(jié)果，顯示了選擇性修剪的好處。研究表明，修剪BNN架構(gòu)的冗余位會(huì)導(dǎo)致定制的亂序BNN，稱為O3BNN-R。他們的工作顯示了高度濃縮的BNN模型-已經(jīng)可以顯示高性能的超級(jí)計(jì)算質(zhì)量-可以在不損失準(zhǔn)確性的情況下進(jìn)一步縮小。

波士頓大學(xué)的博士生Tong“ Tony” Geng說(shuō)，“二元神經(jīng)網(wǎng)絡(luò)有可能使神經(jīng)網(wǎng)絡(luò)的處理時(shí)間達(dá)到微秒左右。”他是PNNL實(shí)習(xí)生，他協(xié)助Li參與了O3BNN-R項(xiàng)目。

Geng說(shuō)：“ BNN的研究朝著使神經(jīng)網(wǎng)絡(luò)真正有用并易于在現(xiàn)實(shí)世界中被采用的有前途的方向發(fā)展。” Geng將于1月份重新加入PNNL的工作，擔(dān)任博士后研究員。“我們的發(fā)現(xiàn)是實(shí)現(xiàn)這一潛力的重要一步。”

他們的研究表明，這種亂序的BNN可以平均減少30%的操作，而不會(huì)造成任何準(zhǔn)確性損失。通過(guò)進(jìn)行更精細(xì)的調(diào)整(稱為“訓(xùn)練中的常規(guī)化”)，可以將性能再提高15%。

修剪電源

除了亂序的BNN對(duì)物聯(lián)網(wǎng)的貢獻(xiàn)外，Li還指出了對(duì)電網(wǎng)的潛在好處。李說(shuō)，改進(jìn)的BNN的實(shí)施還可以增強(qiáng)現(xiàn)有軟件的功能，該軟件可以通過(guò)幫助現(xiàn)有傳感器檢測(cè)并響應(yīng)攻擊來(lái)防范部署在電網(wǎng)中的網(wǎng)絡(luò)攻擊。

李說(shuō)：“基本上，我們正在加快硬件處理的速度。”

標(biāo)簽： 二值化神經(jīng)網(wǎng)絡(luò)