來(lái)自環(huán)繞單目相機(jī)的鳥瞰圖的未來(lái)實(shí)例預(yù)測(cè)
預(yù)測(cè)道路使用的未來(lái)姿勢(shì)是自動(dòng)駕駛系統(tǒng)中的一個(gè)關(guān)鍵挑戰(zhàn)。正交鳥瞰視角通常用于基于 LiDAR 的預(yù)測(cè)。使用攝像頭代替 LiDAR 會(huì)產(chǎn)生更精簡(jiǎn)、更便宜、分辨率更高的視覺識(shí)別系統(tǒng)。在鳥瞰圖框架中操作基于相機(jī)的系統(tǒng)將有利于規(guī)劃和控制。最近的一篇論文提出了第一個(gè)從單目相機(jī)視頻鳥瞰圖的未來(lái)預(yù)測(cè)模型。
該網(wǎng)絡(luò)直接從駕駛數(shù)據(jù)中模擬未來(lái)的隨機(jī)性。系統(tǒng)預(yù)測(cè)時(shí)間上一致的未來(lái)實(shí)例分割和運(yùn)動(dòng)。它還可以對(duì)未來(lái)的概率性質(zhì)進(jìn)行推理，并預(yù)測(cè)可能的和多模態(tài)的未來(lái)軌跡。結(jié)果表明，所建議的系統(tǒng)優(yōu)于當(dāng)前自動(dòng)駕駛中的預(yù)測(cè)基線。
駕駛需要與道路代理人互動(dòng)并預(yù)測(cè)他們未來(lái)的行為，以便安全駕駛。我們提出了 FIERY：一種單目相機(jī)鳥瞰圖的概率未來(lái)預(yù)測(cè)模型。我們的模型預(yù)測(cè)了動(dòng)態(tài)代理的未來(lái)實(shí)例分割和運(yùn)動(dòng)，這些動(dòng)態(tài)代理可以轉(zhuǎn)換為非參數(shù)化的未來(lái)軌跡。我們的方法通過(guò)直接從環(huán)繞 RGB 單目相機(jī)輸入估計(jì)鳥瞰圖預(yù)測(cè)，結(jié)合了傳統(tǒng)自動(dòng)駕駛堆棧的感知、傳感器融合和預(yù)測(cè)組件。FIERY 學(xué)習(xí)以端到端的方式直接從攝像頭駕駛數(shù)據(jù)對(duì)未來(lái)的固有隨機(jī)性進(jìn)行建模，而不依賴于高清地圖，并預(yù)測(cè)多模態(tài)未來(lái)軌跡。我們表明，我們的模型在 NuScenes 和 Lyft 數(shù)據(jù)集上的表現(xiàn)優(yōu)于之前的預(yù)測(cè)基線。代碼可在這個(gè) https 網(wǎng)址
標(biāo)簽：