如今，預(yù)訓(xùn)練大模型在通過微調(diào)或即時調(diào)整策略轉(zhuǎn)移到下游任務(wù)時取得了巨大的成功。然而，這種策略在3D視覺中遇到了障礙，因?yàn)殡y以獲得豐富的3D數(shù)據(jù)。

arXiv.org最近的一篇論文提出將預(yù)訓(xùn)練的知識從2D領(lǐng)域轉(zhuǎn)移到3D領(lǐng)域。

研究人員提出了一種創(chuàng)新的點(diǎn)對像素提示機(jī)制，可將點(diǎn)云轉(zhuǎn)換為具有幾何保留投影和幾何感知著色的彩色圖像。大量實(shí)驗(yàn)證明了在預(yù)訓(xùn)練大圖像模型中利用成功研究的可能性。圖像領(lǐng)域的預(yù)訓(xùn)練知識以較低的可訓(xùn)練參數(shù)成本有效地適應(yīng)3D任務(wù)，并與最先進(jìn)的基于點(diǎn)的方法相比具有競爭力的性能。

如今，在大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練大模型已成為深度學(xué)習(xí)的一個重要課題。具有高表示能力和可遷移性的預(yù)訓(xùn)練模型取得了巨大的成功，并主導(dǎo)了自然語言處理和二維視覺的許多下游任務(wù)。然而，鑒于有限的訓(xùn)練數(shù)據(jù)相對不方便收集，將這種預(yù)訓(xùn)練調(diào)整范式推廣到3D視覺并非易事。在本文中，我們提供了一個利用3D領(lǐng)域中預(yù)訓(xùn)練的2D知識來解決這個問題的新視角，使用新穎的點(diǎn)對像素提示調(diào)整預(yù)訓(xùn)練的圖像模型，以較小的參數(shù)成本進(jìn)行點(diǎn)云分析。遵循促進(jìn)工程的原則，我們將點(diǎn)云轉(zhuǎn)換為具有幾何保留投影和幾何感知著色的彩色圖像，以適應(yīng)預(yù)先訓(xùn)練的圖像模型，其權(quán)重在點(diǎn)云分析任務(wù)的端到端優(yōu)化期間保持不變。我們進(jìn)行了廣泛的實(shí)驗(yàn)，以證明與我們提出的點(diǎn)對像素提示合作，更好的預(yù)訓(xùn)練圖像模型將在3D視覺中始終保持更好的性能。得益于圖像預(yù)訓(xùn)練領(lǐng)域的蓬勃發(fā)展，我們的方法在ScanObjectNN的最困難設(shè)置上達(dá)到了89.3%的準(zhǔn)確率，超過了可訓(xùn)練參數(shù)少得多的傳統(tǒng)點(diǎn)云模型。我們的框架在ModelNet分類和ShapeNet零件分割方面也表現(xiàn)出非常有競爭力的性能。代碼可在在點(diǎn)云分析任務(wù)的端到端優(yōu)化過程中，其權(quán)重保持不變。我們進(jìn)行了廣泛的實(shí)驗(yàn)，以證明與我們提出的點(diǎn)對像素提示合作，更好的預(yù)訓(xùn)練圖像模型將在3D視覺中始終保持更好的性能。得益于圖像預(yù)訓(xùn)練領(lǐng)域的蓬勃發(fā)展，我們的方法在ScanObjectNN的最困難設(shè)置上達(dá)到了89.3%的準(zhǔn)確率，超過了可訓(xùn)練參數(shù)少得多的傳統(tǒng)點(diǎn)云模型。我們的框架在ModelNet分類和ShapeNet零件分割方面也表現(xiàn)出非常有競爭力的性能。

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！