由博士OskarNatan組成的研究小組。豐橋工業(yè)大學(xué)計(jì)算機(jī)科學(xué)工程系主動(dòng)智能系統(tǒng)實(shí)驗(yàn)室(AISL)的學(xué)生和他的導(dǎo)師JunMiura教授開發(fā)了一種可以同時(shí)處理自動(dòng)駕駛感知和控制的AI模型車輛。

AI模型通過(guò)完成多個(gè)視覺任務(wù)來(lái)感知環(huán)境，同時(shí)駕駛車輛沿著一系列路線點(diǎn)行駛。此外，人工智能模型可以在各種場(chǎng)景下的各種環(huán)境條件下安全駕駛車輛。在點(diǎn)對(duì)點(diǎn)導(dǎo)航任務(wù)下進(jìn)行評(píng)估，人工智能模型在標(biāo)準(zhǔn)模擬環(huán)境中實(shí)現(xiàn)了某些最新模型的最佳駕駛性能。

自動(dòng)駕駛是一個(gè)復(fù)雜的系統(tǒng)，由多個(gè)處理多個(gè)感知和控制任務(wù)的子系統(tǒng)組成。然而，部署多個(gè)特定于任務(wù)的模塊成本高且效率低，因?yàn)槿匀恍枰罅颗渲脕?lái)形成集成的模塊化系統(tǒng)。

此外，集成過(guò)程可能會(huì)導(dǎo)致信息丟失，因?yàn)樵S多參數(shù)是手動(dòng)調(diào)整的。通過(guò)快速的深度學(xué)習(xí)研究，可以通過(guò)訓(xùn)練具有端到端和多任務(wù)方式的單個(gè)AI模型來(lái)解決這個(gè)問(wèn)題。因此，該模型可以僅基于一組傳感器提供的觀察來(lái)提供導(dǎo)航控制。由于不再需要手動(dòng)配置，模型可以自行管理信息。

端到端模型面臨的挑戰(zhàn)是如何提取有用信息，以便控制器能夠正確估計(jì)導(dǎo)航控制。這可以通過(guò)向感知模塊提供大量數(shù)據(jù)以更好地感知周圍環(huán)境來(lái)解決。此外，傳感器融合技術(shù)可用于增強(qiáng)性能，因?yàn)樗诤狭瞬煌膫鞲衅饕圆东@各種數(shù)據(jù)方面。

然而，巨大的計(jì)算負(fù)載是不可避免的，因?yàn)樾枰蟮哪Ｐ蛠?lái)處理更多的數(shù)據(jù)。此外，數(shù)據(jù)預(yù)處理技術(shù)是必要的，因?yàn)椴煌膫鞲衅魍ǔв胁煌臄?shù)據(jù)模式。此外，訓(xùn)練過(guò)程中的不平衡學(xué)習(xí)可能是另一個(gè)問(wèn)題，因?yàn)槟Ｐ屯瑫r(shí)執(zhí)行感知和控制任務(wù)。

為了應(yīng)對(duì)這些挑戰(zhàn)，該團(tuán)隊(duì)提出了一種經(jīng)過(guò)端到端和多任務(wù)方式訓(xùn)練的AI模型。該模型由兩個(gè)主要模塊組成，即感知模塊和控制器模塊。感知階段首先處理由單個(gè)RGBD相機(jī)提供的RGB圖像和深度圖。

然后，控制器模塊對(duì)從感知模塊提取的信息以及車輛速度測(cè)量和路線點(diǎn)坐標(biāo)進(jìn)行解碼，以估計(jì)導(dǎo)航控制。為了確保所有任務(wù)都能平等執(zhí)行，該團(tuán)隊(duì)采用了一種稱為修正梯度歸一化(MGN)的算法來(lái)平衡訓(xùn)練過(guò)程中的學(xué)習(xí)信號(hào)。

該團(tuán)隊(duì)考慮模仿學(xué)習(xí)，因?yàn)樗试S模型從大規(guī)模數(shù)據(jù)集中學(xué)習(xí)以匹配接近人類的標(biāo)準(zhǔn)。此外，該團(tuán)隊(duì)將模型設(shè)計(jì)為使用比其他模型更少的參數(shù)來(lái)減少計(jì)算負(fù)載并加速在資源有限的設(shè)備上的推理。

根據(jù)標(biāo)準(zhǔn)自動(dòng)駕駛模擬器CARLA的實(shí)驗(yàn)結(jié)果，表明融合RGB圖像和深度圖以形成鳥瞰(BEV)語(yǔ)義圖可以提高整體性能。由于感知模塊對(duì)場(chǎng)景有更好的整體理解，控制器模塊可以利用有用的信息來(lái)正確估計(jì)導(dǎo)航控制。此外，該團(tuán)隊(duì)表示，所提出的模型更適合部署，因?yàn)榕c其他模型相比，它以更少的參數(shù)實(shí)現(xiàn)了更好的駕駛性能。

該研究發(fā)表在IEEETransactionsonIntelligentVehicles上，該團(tuán)隊(duì)目前正在對(duì)模型進(jìn)行修改和改進(jìn)，以解決在夜間、大雨等光照條件差的情況下駕駛時(shí)的幾個(gè)問(wèn)題。假設(shè)，該團(tuán)隊(duì)認(rèn)為添加不受亮度或照度變化影響的傳感器，例如LiDAR，將提高模型的場(chǎng)景理解能力并帶來(lái)更好的駕駛性能。另一個(gè)未來(lái)的任務(wù)是將提出的模型應(yīng)用于現(xiàn)實(shí)世界中的自動(dòng)駕駛。

標(biāo)簽：