您可能已經(jīng)看到好萊塢明星穿著“動作捕捉”服，身著全身裝扮，身上裝有感應(yīng)器，可以讓計算機將它們變成綠巨人，巨龍或附魔的野獸?，F(xiàn)在，普林斯頓大學教授Mala Murthy 和 Joshua Shaevitz的實驗室之間的合作 又走了一步，它利用人工智能(AI)的最新進展來自動跟蹤現(xiàn)有視頻中動物的各個身體部位。

他們的新工具“ LEAP估計動物姿勢(LEAP)”可以在幾分鐘內(nèi)進行訓練，從而可以在數(shù)百萬個視頻幀中自動高精度地跟蹤動物的身體各個部位，而無需添加任何物理標記或標簽。

“該方法可以被廣泛使用，跨越動物模型系統(tǒng)，并且這將是測量動物的遺傳突變的行為或以下的藥物治療是有用的，”穆爾蒂，副教授所述 分子生物學 和 普林斯頓神經(jīng)科學研究所(PNI) 。

詳細介紹新技術(shù)的 論文 將發(fā)表在2019年1月的《自然方法》(Nature Methods)雜志上，但是其 開放獲取版本(于5月發(fā)布)已經(jīng)導致該軟件被許多其他實驗室采用。

當研究人員結(jié)合LEAP在他們的實驗室中開發(fā)等數(shù)量型工具，他們可以研究他們所謂的“行為語言”通過觀察動物的肢體動作模式，所述Shaevitz，教授 物理 和 劉易斯西格萊爾研究所綜合基因組。

“這是一種靈活的工具，原則上可以在任何視頻數(shù)據(jù)上使用，”論文的第一作者，PNI研究生塔爾莫·佩雷拉(Talmo Pereira)說 。“它的工作方式是在幾個視頻中標記幾個點，然后由神經(jīng)網(wǎng)絡(luò)完成其余的工作。我們提供了一個易于使用的界面，任何人都可以在沒有任何編程知識的情況下將LEAP應(yīng)用于自己的視頻。”

當被問及是否LEAP工作以及對大型哺乳動物，因為它沒有對 蒼蠅 和 老鼠 是由最初始的科目，佩雷拉及時創(chuàng)建取自長頸鹿的運動標簽的視頻 直播飼料 從 姆帕拉研究中心 在肯尼亞，普林斯頓大學(Princeton)為其管理合伙人的實地研究站。

佩雷拉說：“我們從姆帕拉研究站拍攝了一只長頸鹿的視頻……并在30個視頻幀中標記了點，這花費了不到一個小時的時間，”佩雷拉說。“然后，LEAP能夠在幾秒鐘內(nèi)跟蹤整個視頻其余部分(大約500幀)的運動。”

以前開發(fā)可跟蹤人類運動的AI工具的工作都依賴于大量的手動注釋數(shù)據(jù)訓練集。這樣一來，該軟件就可以在背景或光照條件截然不同的各種數(shù)據(jù)上穩(wěn)定運行。

“在我們的案例中，我們優(yōu)化了類似的方法來處理在實驗室環(huán)境中收集的數(shù)據(jù)，在這種情況下各個記錄的條件是一致的，” Murthy說。“我們構(gòu)建了一個系統(tǒng)，該系統(tǒng)允許用戶選擇適合于用戶收集的數(shù)據(jù)類型的神經(jīng)網(wǎng)絡(luò)，而不受其他研究人員或公司工作的約束。”

該項目源于Murthy實驗室的一名高級論文學生2018屆畢業(yè)生Diego Aldarondo與他的研究生導師Pereira的獨特合作，該 導師由Murthy和Shaevitz共同指導。

“迭戈正在普林斯頓大學的一門計算機科學課程中探索深度神經(jīng)網(wǎng)絡(luò)對動物行為數(shù)據(jù)的注釋，并且在與塔爾莫的實驗室深夜聊天中，他意識到這些方法可以有效地應(yīng)用于他們自己的數(shù)據(jù)：果蠅的視頻在求愛儀式中互動。” Murthy說。“合作從那里開始，而一起工作真是令人難以置信的樂趣– Diego和Talmo展示了這些AI方法的有效性。”

英國皇家獸醫(yī)學院結(jié)構(gòu)與運動實驗室高級講師莫妮卡·戴利(Monica Daley)表示，這項工作在神經(jīng)科學之外也具有巨大潛力，但他并未參與這項研究。

戴利說：“我的許多研究旨在了解動物如何在不同的地形和環(huán)境條件下有效地運動。” “該領(lǐng)域正在進行的最大挑戰(zhàn)之一是從錄像中提取有關(guān)動物運動的有意義的信息。我們要么手動處理視頻，這需要許多小時的繁瑣工作，要么專注于非常簡單且有限的自動化分析。本文介紹的算法比以前更能自動化勞動密集型工作，這可能使我們能夠研究更多種類的動物運動行為。”

一旦他們有了運動和行為的數(shù)據(jù)庫，團隊中的神經(jīng)科學家就可以與它們背后的神經(jīng)過程建立聯(lián)系。Shaevitz說，這將使研究人員“不僅可以更好地了解大腦如何產(chǎn)生行為，而且還可以探索未來的診斷和療法，這些診斷和療法依靠計算機來解釋某人的行為。”

哈佛研究人員小組在整個夏天共享了一種 類似的工具，他們使用了現(xiàn)有的神經(jīng)網(wǎng)絡(luò)架構(gòu)，而普林斯頓大學的團隊則創(chuàng)建了自己的工具。“我們的方法及其方法具有不同的優(yōu)勢，” Murthy說。“現(xiàn)在，這是一個令人興奮的領(lǐng)域，在開發(fā)用于研究行為和神經(jīng)活動的AI工具方面有很多活動。”

“我們采用了不同的方法，較小的精簡網(wǎng)絡(luò)可以通過快速專注于新數(shù)據(jù)集來實現(xiàn)高精度，” Pereira說。“更重要的是，我們證明了現(xiàn)在有通過AI進行動物姿勢跟蹤的易于使用的選項，我們希望這鼓勵該領(lǐng)域開始采用更定量和精確的方法來測量行為。”

“在過去的五年中，神經(jīng)科學在觀察和操縱大腦活動的技術(shù)方面取得了長足進步，”分子生物學和PNI教授合著者Samuel Wang說 ?，F(xiàn)在，行為的自動分類為該技術(shù)增加了關(guān)鍵的補充。普林斯頓大學正在成為計算神經(jīng)倫理學萌芽領(lǐng)域的中心樞紐。”

標簽： 翻譯行為語言