正如圖像處理、智能醫(yī)療、自動駕駛汽車和智慧城市等人工智能(AI)各個領(lǐng)域的突破所證明的那樣，這無疑是深度學(xué)習(xí)的黃金時期。在接下來的十年左右，人工智能和計算系統(tǒng)最終將具備像人類一樣學(xué)習(xí)和思考的能力——處理持續(xù)的信息流并與現(xiàn)實世界互動。

然而，當(dāng)前的AI模型在連續(xù)接受新信息訓(xùn)練時會遭受性能損失。這是因為每次生成新數(shù)據(jù)時，都會將其寫入現(xiàn)有數(shù)據(jù)之上，從而擦除以前的信息。這種效應(yīng)被稱為“災(zāi)難性遺忘”。穩(wěn)定性-可塑性問題帶來了一個困難，即AI模型需要更新其記憶以不斷適應(yīng)新信息，同時保持其當(dāng)前知識的穩(wěn)定性。這個問題阻止了最先進的人工智能不斷地從現(xiàn)實世界的信息中學(xué)習(xí)。

邊緣計算系統(tǒng)允許將計算從云存儲和數(shù)據(jù)中心轉(zhuǎn)移到原始源附近，例如連接到物聯(lián)網(wǎng)(IoT)的設(shè)備。在資源有限的邊緣計算系統(tǒng)上有效地應(yīng)用持續(xù)學(xué)習(xí)仍然是一個挑戰(zhàn)，盡管已經(jīng)提出了許多持續(xù)學(xué)習(xí)模型來解決這個問題。傳統(tǒng)模型需要高計算能力和大內(nèi)存容量。

新加坡科技設(shè)計大學(xué)(SUTD)的一組研究人員最近設(shè)計了一種用于實現(xiàn)節(jié)能持續(xù)學(xué)習(xí)系統(tǒng)的新型代碼，這些研究人員包括Shao-XiangGo、WangWang、BoWang、YuJiang和娜塔莎·巴哈洛維奇。該團隊由首席研究員、來自SUTD的助理教授DesmondLoke領(lǐng)導(dǎo)。這些研究人員的研究“電阻開關(guān)存儲器材料中的持續(xù)學(xué)習(xí)電導(dǎo)”發(fā)表在《高級理論與模擬》雜志上。

該團隊提出了Brain-InspiredReplay(BIR)，這是一種受大腦啟發(fā)的模型，可以自然地進行持續(xù)學(xué)習(xí)。BIR模型基于人工神經(jīng)網(wǎng)絡(luò)和變分自編碼器的使用，模仿人腦的功能，在不存儲數(shù)據(jù)的情況下可以在類增量學(xué)習(xí)情況下表現(xiàn)良好。研究人員還使用BIR模型來表示在數(shù)字存儲系統(tǒng)中使用電流的導(dǎo)電細絲生長。

“在這個模型中，知識被保存在經(jīng)過訓(xùn)練的模型中，以便在引入額外任務(wù)時最大限度地減少性能損失，而無需參考以前工作的數(shù)據(jù)，”助理教授Loke解釋說。“所以，這為我們節(jié)省了大量的能源。”

“此外，在不存儲數(shù)據(jù)的情況下，在挑戰(zhàn)當(dāng)前學(xué)習(xí)任務(wù)的合規(guī)性方面實現(xiàn)了89%的最新準(zhǔn)確率，這比傳統(tǒng)的持續(xù)學(xué)習(xí)模型高出約兩倍，并且能源效率高，”“他加了。

為了讓模型能夠獨立處理現(xiàn)實世界中的現(xiàn)場信息，團隊計劃在下一階段的研究中擴展模型的可調(diào)能力。

“基于小規(guī)模示范，這項研究仍處于早期階段，”助理教授洛克說。“采用這種方法有望讓邊緣人工智能系統(tǒng)在沒有人為控制的情況下獨立發(fā)展。”

標(biāo)簽：