跨模態(tài)3D形狀生成和操作
3D采集和可視化技術的最新進展需要用于3D內容創(chuàng)建和編輯的工具。然而，大多數先前關于2D到3D形狀操作的工作都是針對特定的編輯任務和交互格式量身定制的。
arXiv.org最近的一篇論文提出了一個2D到3D框架，該框架適用于單一控制模式。它可以靈活地處理各種類型的2D交互，而無需更改架構或重新訓練。
該框架在每個2D和3D模態(tài)的生成模型中構建了一個共享的潛在表示。該表示強制任意潛在代碼對應于與每種模態(tài)一致的3D模型。
對兩種有代表性的2D模態(tài)(灰度線草圖和渲染的彩色圖像)進行評估。結果表明，所提出的方法易于實現(xiàn)并且可以推廣到對網絡架構沒有特殊要求的新模式。
創(chuàng)建和編輯3D對象的形狀和顏色需要大量的人力和專業(yè)知識。與3D界面中的直接操作相比，草圖和涂鴉等2D交互對于用戶來說通常更加自然和直觀。在本文中，我們提出了一種通用的多模態(tài)生成模型，該模型通過共享的潛在空間將2D模態(tài)和隱式3D表示耦合起來。使用所提出的模型，只需將編輯從特定的2D控制模式傳播到潛在空間，就可以實現(xiàn)多功能的3D生成和操作。例如，通過繪制草圖來編輯3D形狀，通過在2D渲染上繪制彩色涂鴉重新著色3D表面，或者在給定一個或幾個參考圖像的情況下生成特定類別的3D形狀。不同于以往的作品，我們的模型不需要對每個編輯任務進行重新訓練或微調，并且在概念上也很簡單，易于實現(xiàn)，對輸入域變化具有魯棒性，并且可以靈活地對部分2D輸入進行多樣化的重建。我們在灰度線草圖和渲染彩色圖像的兩種代表性2D模態(tài)上評估我們的框架，并證明我們的方法能夠使用這些2D模態(tài)進行各種形狀操作和生成任務。
標簽：