約翰霍普金斯大學(xué)的計(jì)算機(jī)科學(xué)家采用一種通常用于教狗坐下和坐下的訓(xùn)練技術(shù)，向機(jī)器人展示了一種如何自學(xué)幾種新技巧的機(jī)器人，包括堆砌塊。通過這種方法，名為Spot的機(jī)器人可以在幾天內(nèi)學(xué)習(xí)通常需要一個月的時間。

通過使用正強(qiáng)化，這是任何使用過的對待改變狗行為的人都熟悉的方法，團(tuán)隊(duì)極大地提高了機(jī)器人的技能，并且很快地完成了訓(xùn)練，使訓(xùn)練實(shí)際工作的機(jī)器人成為一個更可行的企業(yè)。這些發(fā)現(xiàn)新發(fā)表在名為“ Good Robot!”的論文中。

“這里的問題是我們?nèi)绾巫寵C(jī)器人學(xué)習(xí)技能?” 主要作者安德魯·洪特(Andrew Hundt)說。在約翰·霍普金斯大學(xué)計(jì)算互動與機(jī)器人實(shí)驗(yàn)室工作的學(xué)生。“我有狗，所以我知道獎勵的工作，這就是我設(shè)計(jì)學(xué)習(xí)算法的靈感。”

與天生具有高度直覺的大腦的人和動物不同，計(jì)算機(jī)是空白板，必須從頭開始學(xué)習(xí)一切。但是，真正的學(xué)習(xí)通常是通過反復(fù)試驗(yàn)來完成的，機(jī)器人專家仍在研究如何從錯誤中有效學(xué)習(xí)。

該團(tuán)隊(duì)在這里通過設(shè)計(jì)一種獎勵系統(tǒng)來實(shí)現(xiàn)這一目標(biāo)，該獎勵系統(tǒng)可以像對待狗一樣對待機(jī)器人，為機(jī)器人工作。狗可能會因?yàn)樽龅煤玫墓ぷ鞫玫斤灨桑鴻C(jī)器人則獲得了數(shù)字積分。

洪特回憶說，他曾經(jīng)教過他的小混混小狗叫利亞(Leah)命令“離開它”，這樣她就可以無視步行中的松鼠。他使用兩種類型的零食，普通的教練零食和更好的東西，例如奶酪。當(dāng)莉亞興奮而無所事事時，她一無所有。但是當(dāng)她冷靜下來并移開視線時，她得到了好東西。“那時候我給了她奶酪，然后說，'離開!好呀!'”

同樣，要堆積塊，發(fā)現(xiàn)機(jī)器人需要學(xué)習(xí)如何專注于建設(shè)性行動。當(dāng)機(jī)器人探索積木時，它很快了解到正確的堆疊行為可以賺取高分，而錯誤的堆疊則不能賺到高分。伸出手，但不理解障礙?沒有分?jǐn)?shù) 敲一堆?絕對沒有分。通過將最后一個區(qū)塊放在四個區(qū)塊的堆棧之上，Spot獲得了最大的收益。

訓(xùn)練策略不僅有效，而且花了幾天的時間來告訴機(jī)器人過去需要數(shù)周的時間。通過首先訓(xùn)練類似于視頻游戲的模擬機(jī)器人，然后使用Spot運(yùn)行測試，該團(tuán)隊(duì)能夠減少練習(xí)時間。

亨特說：“機(jī)器人想要更高的分?jǐn)?shù)。” “它可以迅速學(xué)習(xí)正確的行為以獲得最佳回報(bào)。實(shí)際上，機(jī)器人過去通常要花一個月的時間才能達(dá)到100%的精度。我們能夠在兩天內(nèi)做到這一點(diǎn)。”

正強(qiáng)化不僅可以幫助機(jī)器人自學(xué)積木，而且通過點(diǎn)系統(tǒng)，機(jī)器人可以很快學(xué)會其他幾個任務(wù)，甚至包括如何玩模擬的導(dǎo)航游戲。在所有情況下都可以從錯誤中學(xué)習(xí)，這對于設(shè)計(jì)一種可以適應(yīng)新環(huán)境的機(jī)器人至關(guān)重要。

洪特說：“起初，機(jī)器人不知道自己在做什么，但是每次練習(xí)都會越來越好。它永遠(yuǎn)不會放棄，并且會不斷嘗試堆疊，并且能夠100%地完成任務(wù)。”

該團(tuán)隊(duì)認(rèn)為，這些發(fā)現(xiàn)可以幫助訓(xùn)練家用機(jī)器人去洗衣服和洗碗，這些任務(wù)在公開市場上很流行，并且可以幫助老年人獨(dú)立生活。它還可以幫助設(shè)計(jì)改進(jìn)的自動駕駛汽車。

哈格說：“我們的目標(biāo)是最終開發(fā)出可以在現(xiàn)實(shí)世界中完成復(fù)雜任務(wù)的機(jī)器人，例如產(chǎn)品組裝，照顧老人和手術(shù)。” “我們目前不知道如何編程這樣的任務(wù)-世界太復(fù)雜了。但是這樣的工作向我們表明，機(jī)器人可以學(xué)習(xí)如何以安全有效的方式完成此類現(xiàn)實(shí)任務(wù)的想法是有希望的辦法。”

標(biāo)簽： 狗訓(xùn)練方法