自我感知，即檢測(cè)自己的身體并將其與背景區(qū)分開(kāi)來(lái)的能力，對(duì)于以自我為中心的行為和與其他代理的互動(dòng)都是有益的。必須知道手的完整空間信息才能執(zhí)行困難的任務(wù)，例如物體抓取。在那里，2D 手部關(guān)鍵點(diǎn)等簡(jiǎn)單方法是不夠的。

因此，最近的一篇論文提出使用手部分割進(jìn)行視覺(jué)自我識(shí)別。屬于真實(shí)機(jī)器人手的所有像素都使用來(lái)自機(jī)器人相機(jī)的 RGB 圖像進(jìn)行分割。

該方法使用專(zhuān)門(mén)用模擬數(shù)據(jù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)。因此，它解決了缺乏預(yù)先存在的訓(xùn)練數(shù)據(jù)集的問(wèn)題。為了將模型擬合到特定領(lǐng)域，對(duì)預(yù)訓(xùn)練的權(quán)重和超參數(shù)進(jìn)行了微調(diào)。所提出的解決方案比現(xiàn)有技術(shù)更好地實(shí)現(xiàn)了聯(lián)合精度的交集。

區(qū)分自我和背景的能力對(duì)于機(jī)器人任務(wù)至關(guān)重要。手的特殊情況，作為機(jī)器人系統(tǒng)的末端執(zhí)行器，經(jīng)常與環(huán)境的其他元素接觸，必須被精確地感知和跟蹤，以靈巧地執(zhí)行預(yù)期任務(wù)，而不會(huì)與障礙物發(fā)生碰撞。它們是多種應(yīng)用的基礎(chǔ)，從人機(jī)交互任務(wù)到對(duì)象操作?，F(xiàn)代仿人機(jī)器人的特點(diǎn)是自由度高，這使得它們的正向運(yùn)動(dòng)學(xué)模型對(duì)不確定性非常敏感。因此，訴諸視覺(jué)傳感可能是賦予這些機(jī)器人良好的自我感知能力、能夠精確定位其身體部位的唯一解決方案。在本文中，我們建議使用卷積神經(jīng)網(wǎng)絡(luò) (CNN) 在以自我為中心的視圖中從圖像中分割機(jī)器人手。眾所周知，CNN 需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練。為了克服標(biāo)記真實(shí)世界圖像的挑戰(zhàn)，我們建議使用利用域隨機(jī)化技術(shù)的模擬數(shù)據(jù)集。我們針對(duì)分割人形機(jī)器人 Vizzy 的手的特定任務(wù)對(duì) Mask-RCNN 網(wǎng)絡(luò)進(jìn)行了微調(diào)。我們將注意力集中在開(kāi)發(fā)一種需要少量數(shù)據(jù)來(lái)實(shí)現(xiàn)合理性能的方法上，同時(shí)詳細(xì)了解如何在訓(xùn)練數(shù)據(jù)集中正確生成可。此外，我們分析了 Mask-RCNN 復(fù)雜模型中的微調(diào)過(guò)程，了解哪些權(quán)重應(yīng)該轉(zhuǎn)移到分割機(jī)器人手的新任務(wù)中。我們的最終模型僅在合成圖像上進(jìn)行訓(xùn)練，合成驗(yàn)證數(shù)據(jù)的平均 IoU 為 82%，真實(shí)測(cè)試數(shù)據(jù)的平均 IoU 為 56.3%。這些結(jié)果是使用單個(gè) GPU 僅用 1000 張訓(xùn)練圖像和 3 小時(shí)的訓(xùn)練時(shí)間實(shí)現(xiàn)的。

標(biāo)簽：