3D采集和可視化技術(shù)的最新進(jìn)展需要用于3D內(nèi)容創(chuàng)建和編輯的工具。然而，大多數(shù)先前關(guān)于2D到3D形狀操作的工作都是針對特定的編輯任務(wù)和交互格式量身定制的。

arXiv.org最近的一篇論文提出了一個(gè)2D到3D框架，該框架適用于單一控制模式。它可以靈活地處理各種類型的2D交互，而無需更改架構(gòu)或重新訓(xùn)練。

該框架在每個(gè)2D和3D模態(tài)的生成模型中構(gòu)建了一個(gè)共享的潛在表示。該表示強(qiáng)制任意潛在代碼對應(yīng)于與每種模態(tài)一致的3D模型。

對兩種有代表性的2D模態(tài)(灰度線草圖和渲染的彩色圖像)進(jìn)行評估。結(jié)果表明，所提出的方法易于實(shí)現(xiàn)并且可以推廣到對網(wǎng)絡(luò)架構(gòu)沒有特殊要求的新模式。

創(chuàng)建和編輯3D對象的形狀和顏色需要大量的人力和專業(yè)知識(shí)。與3D界面中的直接操作相比，草圖和涂鴉等2D交互對于用戶來說通常更加自然和直觀。在本文中，我們提出了一種通用的多模態(tài)生成模型，該模型通過共享的潛在空間將2D模態(tài)和隱式3D表示耦合起來。使用所提出的模型，只需將編輯從特定的2D控制模式傳播到潛在空間，就可以實(shí)現(xiàn)多功能的3D生成和操作。例如，通過繪制草圖來編輯3D形狀，通過在2D渲染上繪制彩色涂鴉重新著色3D表面，或者在給定一個(gè)或幾個(gè)參考圖像的情況下生成特定類別的3D形狀。不同于以往的作品，我們的模型不需要對每個(gè)編輯任務(wù)進(jìn)行重新訓(xùn)練或微調(diào)，并且在概念上也很簡單，易于實(shí)現(xiàn)，對輸入域變化具有魯棒性，并且可以靈活地對部分2D輸入進(jìn)行多樣化的重建。我們在灰度線草圖和渲染彩色圖像的兩種代表性2D模態(tài)上評估我們的框架，并證明我們的方法能夠使用這些2D模態(tài)進(jìn)行各種形狀操作和生成任務(wù)。

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！