麻省理工學(xué)院的研究人員開發(fā)了一種神經(jīng)網(wǎng)絡(luò)，可以在工作中學(xué)習(xí)，而不僅僅是在訓(xùn)練階段。這些被稱為“液體”網(wǎng)絡(luò)的靈活算法會改變其底層方程以不斷適應(yīng)新的數(shù)據(jù)輸入。這一進(jìn)步可以幫助基于隨時間變化的數(shù)據(jù)流做出決策，包括涉及醫(yī)療診斷和自動駕駛的數(shù)據(jù)流。

“這是未來機(jī)器人控制、自然語言處理、視頻處理——任何形式的時間序列數(shù)據(jù)處理的一種方式，”該研究的主要作者拉明哈薩尼說。“潛力非常大。”

該研究將在2月份的AAAI人工智能會議上發(fā)表。除了麻省理工學(xué)院計算機(jī)科學(xué)與人工智能實驗室(CSAIL)的博士后哈薩尼之外，麻省理工學(xué)院的合著者還包括CSAIL主任丹妮拉·羅斯、安德魯和厄娜·維特比電氣工程與計算機(jī)科學(xué)教授，以及博士生亞歷山大·阿米尼。其他合著者包括奧地利科學(xué)技術(shù)研究所的MathiasLechner和維也納科技大學(xué)的RaduGrosu。

Hasani表示，時間序列數(shù)據(jù)無處不在，而且對我們理解世界至關(guān)重要。“現(xiàn)實世界都是關(guān)于序列的。甚至我們的感知——你不是在感知圖像，而是在感知圖像序列，”他說。“所以，時間序列數(shù)據(jù)實際上創(chuàng)造了我們的現(xiàn)實。”

他將視頻處理、金融數(shù)據(jù)和醫(yī)療診斷應(yīng)用程序作為對社會至關(guān)重要的時間序列示例。這些不斷變化的數(shù)據(jù)流的變遷是不可預(yù)測的。然而，實時分析這些數(shù)據(jù)并使用它們來預(yù)測未來的行為，可以促進(jìn)自動駕駛汽車等新興技術(shù)的發(fā)展。因此Hasani構(gòu)建了一個適合該任務(wù)的算法。

Hasani設(shè)計了一個神經(jīng)網(wǎng)絡(luò)，可以適應(yīng)現(xiàn)實世界系統(tǒng)的可。神經(jīng)網(wǎng)絡(luò)是通過分析一組“訓(xùn)練”示例來識別模式的算法。人們常說它們模仿大腦的處理途徑——哈薩尼直接從微觀線蟲C.elegans中汲取靈感。“它的神經(jīng)系統(tǒng)中只有302個神經(jīng)元，”他說，“但它可以產(chǎn)生出乎意料的復(fù)雜動態(tài)。”

Hasani對他的神經(jīng)網(wǎng)絡(luò)進(jìn)行了編碼，并仔細(xì)關(guān)注了秀麗隱桿線蟲神經(jīng)元如何通過電脈沖激活和相互交流。在他用來構(gòu)建神經(jīng)網(wǎng)絡(luò)的方程中，他允許參數(shù)根據(jù)一組嵌套微分方程的結(jié)果隨時間變化。

這種靈活性是關(guān)鍵。大多數(shù)神經(jīng)網(wǎng)絡(luò)的行為在訓(xùn)練階段之后是固定的，這意味著它們無法適應(yīng)傳入數(shù)據(jù)流的變化。Hasani說，他的“液體”網(wǎng)絡(luò)的流動性使其對意外或嘈雜的數(shù)據(jù)更具彈性，比如大雨遮擋了自動駕駛汽車上的攝像頭的視野。“所以，它更強(qiáng)大，”他說。

他補(bǔ)充說，網(wǎng)絡(luò)的靈活性還有另一個優(yōu)勢：“它更具可解釋性。”

Hasani說他的流動網(wǎng)絡(luò)避開了其他神經(jīng)網(wǎng)絡(luò)常見的難以理解的問題。“只要改變神經(jīng)元的表示，”哈薩尼用微分方程做的，“你真的可以探索一些你無法探索的復(fù)雜程度。”由于Hasani的少數(shù)高表達(dá)神經(jīng)元，更容易窺視網(wǎng)絡(luò)決策的“黑匣子”并診斷網(wǎng)絡(luò)為何做出某種特征。

“模型本身在表現(xiàn)力方面更加豐富，”哈薩尼說。這可以幫助工程師了解和改進(jìn)液體網(wǎng)絡(luò)的性能。

Hasani的網(wǎng)絡(luò)在一系列測試中表現(xiàn)出色。它在準(zhǔn)確預(yù)測數(shù)據(jù)集(從大氣化學(xué)到交通模式)中的未來值方面領(lǐng)先于其他最先進(jìn)的時間序列算法幾個百分點(diǎn)。“在許多應(yīng)用中，我們看到性能可靠地很高，”他說。此外，該網(wǎng)絡(luò)的小規(guī)模意味著它在沒有高昂的計算成本的情況下完成了測試。“每個人都在談?wù)摂U(kuò)大他們的網(wǎng)絡(luò)，”哈薩尼說。“我們希望縮小規(guī)模，擁有更少但更豐富的節(jié)點(diǎn)。”

Hasani計劃不斷改進(jìn)該系統(tǒng)并為工業(yè)應(yīng)用做好準(zhǔn)備。“我們有一個可證明更具表現(xiàn)力的神經(jīng)網(wǎng)絡(luò)，其靈感來自大自然。但這只是過程的開始，”他說。“顯而易見的問題是你如何擴(kuò)展它?我們認(rèn)為這種網(wǎng)絡(luò)可能成為未來情報系統(tǒng)的關(guān)鍵要素。”

標(biāo)簽：