眾所周知，修剪可以促進植被的蓬勃發(fā)展。在這里剪一剪，在那里剪一剪，可以控制和引導生長，使植物更有活力。相同的原理可以應用于機器學習算法。沿這些算法中的編碼分支刪除位和片段可以降低決策樹的復雜性并提高預測性能。

美國能源部太平洋西北國家實驗室(PNNL)的研究人員正是這樣做的。通過二值化神經(jīng)網(wǎng)絡(BNN)的探索，他們使用修剪原理來顯著降低計算復雜性和內(nèi)存需求。BNN是深度神經(jīng)網(wǎng)絡的近親，需要大量的計算。但是BNN的顯著差異是：它們使用單??個位對每個神經(jīng)元和參數(shù)進行編碼，而使用的能量和功率卻少得多。

修剪以加快增長

研究人員認識到，從2016年左右開始，BNN在機器學習中的潛在價值。如果以正確的方式構(gòu)建或修剪BNN，它們將消耗更少的計算能量，并且?guī)缀跖c深度神經(jīng)網(wǎng)絡一樣精確。這意味著BNN更有潛力受益于資源受限的環(huán)境，例如手機，智能設備和整個物聯(lián)網(wǎng)生態(tài)系統(tǒng)。

這是修剪起作用的地方。隨著近年來神經(jīng)網(wǎng)絡研究的發(fā)展，修剪已引起計算機研究人員的更多興趣。

PNNL計算機科學家Ang Li說：“修剪目前是機器學習中的熱門話題。” “我們可以添加軟件和架構(gòu)編碼，以將修整推向一個對計算設備的性能有更多好處的方向。這些好處包括更低的能源需求和更低的計算成本。”

PNNL計算機科學家Ang Li表示，隨著近年來神經(jīng)網(wǎng)絡研究的發(fā)展，修剪已引起計算機研究人員的更多興趣。圖片來源：Andrea Starr | 太平洋西北國家實驗室

修剪精度

Li是一組PNNL研究人員之一，最近他們在電氣與電子工程師協(xié)會關于并行和分布式系統(tǒng)的交易中發(fā)表了研究結(jié)果，顯示了選擇性修剪的好處。研究表明，修剪BNN架構(gòu)的冗余位會導致定制的亂序BNN，稱為O3BNN-R。他們的工作顯示了高度濃縮的BNN模型-已經(jīng)可以顯示高性能的超級計算質(zhì)量-可以在不損失準確性的情況下進一步縮小。

波士頓大學的博士生Tong“ Tony” Geng說，“二元神經(jīng)網(wǎng)絡有可能使神經(jīng)網(wǎng)絡的處理時間達到微秒左右。”他是PNNL實習生，他協(xié)助Li參與了O3BNN-R項目。

Geng說：“ BNN的研究朝著使神經(jīng)網(wǎng)絡真正有用并易于在現(xiàn)實世界中被采用的有前途的方向發(fā)展。” Geng將于1月份重新加入PNNL的工作，擔任博士后研究員。“我們的發(fā)現(xiàn)是實現(xiàn)這一潛力的重要一步。”

他們的研究表明，這種亂序的BNN可以平均減少30%的操作，而不會造成任何準確性損失。通過進行更精細的調(diào)整(稱為“訓練中的常規(guī)化”)，可以將性能再提高15%。

修剪電源

除了亂序的BNN對物聯(lián)網(wǎng)的貢獻外，Li還指出了對電網(wǎng)的潛在好處。李說，改進的BNN的實施還可以增強現(xiàn)有軟件的功能，該軟件可以通過幫助現(xiàn)有傳感器檢測并響應攻擊來防范部署在電網(wǎng)中的網(wǎng)絡攻擊。

李說：“基本上，我們正在加快硬件處理的速度。”

　　免責聲明：本文由用戶上傳，與本網(wǎng)站立場無關。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風險自擔。 如有侵權請聯(lián)系刪除！