作為一名觀察者，Hot Hardware的Paul Lilly說，他們從二維到三維的方式是新聞。當路徑從3D反轉到2D時，這并不奇怪，但“在不提供系統(tǒng)3D數(shù)據(jù)的情況下創(chuàng)建3D模型更具挑戰(zhàn)性?！?

Lilly引用了高俊的話，他是致力于渲染方法的研究團隊之一。“這實際上是歷史上第一次，你可以拍攝幾乎任何2D圖像，并預測相關的3D屬性?！?

從二維圖像生成三維對象的神奇之處在于“基于插值的可微分渲染器”.英偉達的研究人員在包含鳥類圖像的數(shù)據(jù)集上訓練他們的模型。經(jīng)過訓練，DIB-R可以拍攝鳥類圖像并傳輸3D圖像，具有正確的3D鳥類形狀和紋理。

Nvidia進一步描述了將輸入轉換為特征圖或矢量的方法，用于預測特定信息，例如圖像的形狀、顏色、紋理和照明。

為什么重要：總結了Gizmodo的標題。"英偉達教人工智能從平面二維圖像中即時生成全紋理三維模型."“立即”這個詞非常重要。

英偉達的勞倫芬克爾(Lauren Finkle)表示，DIB-R可以在不到100毫秒的時間內從2D圖像中生成3D對象。“它是通過改變傳統(tǒng)的表示3D形狀的模板多邊形球來實現(xiàn)的。DIB-R改變它以匹配2D圖像中描繪的真實物體形狀?！?

Gizmodo的Andrew Liszewski強調了100毫秒的時間元素?！傲钊擞∠笊羁痰奶幚硭俣仁乖摴ぞ咛貏e有趣，因為它有潛力極大地改善機器人或自動駕駛汽車等機器看待世界和理解其前輩潛力的方式?！?

關于自動駕駛汽車，利澤夫斯基說：“從攝像頭的實時視頻流中提取的靜止圖像可以立即轉換為3D模型，這樣自動駕駛汽車就可以準確地確定需要避開的大型卡車的尺寸。”

從2D的圖像可以推斷，3D物體的模型將能夠執(zhí)行更好的物體跟蹤，Lilly轉向考慮將其用于機器人。他說：“通過將2D圖像處理成3D模型，自主機器人將處于更好的位置，可以更安全有效地與環(huán)境互動?！?

英偉達指出，要實現(xiàn)這一點，自主機器人“必須能夠感知和理解周圍環(huán)境。DIB-R可能會改善這些深度感知?！?

同時，Gizmodo的Liszewski提到了英偉達可以為安全做些什么。“DIB-R甚至可以提高用于識別和跟蹤人的安全攝像頭的性能，因為即時生成的3D模型將使人們在視野內移動時更容易匹配圖像?！?

英偉達的研究人員將在本月于溫哥華舉行的神經(jīng)信息處理系統(tǒng)年會上展示他們的模型。

那些想了解更多他們研究的人可以參考他們在arXiv上的論文“學習使用基于插值的差分渲染器來預測3D對象”。作者是陳、華凌、愛德華史密斯、雅克萊蒂寧、亞歷克雅各布森和薩尼亞菲德勒。

他們提出了“一個完整的基于光柵化的差分渲染器，可以通過分析計算出梯度。”他們說，當纏繞在神經(jīng)網(wǎng)絡上時，他們的框架學會了從單個圖像中預測形狀、紋理和光，并展示了他們的框架“學習3D紋理形狀的生成器”。

在摘要中，作者指出：“許多機器學習模型對圖像進行操作，但忽略了圖像是三維幾何和光相互作用形成的二維投影這一事實。這個過程叫做渲染。讓ML模型理解圖像形成可能是推廣的關鍵?！?

他們提出了DIB-R作為框架，可以分析圖像中所有像素的梯度。

他們說他們方法的關鍵是把前景柵格化看作局部屬性的加權插值，把背景柵格化看作基于距離的全局幾何聚合。我們的方法允許通過各種照明模型精確優(yōu)化頂點位置、顏色、法線和照明方向以及坐標紋理。"

鄭重聲明：本文版權歸原作者所有。轉載文章只是為了傳播更多的信息。如果作者信息標注有誤，請第一時間聯(lián)系我們修改或刪除。謝謝你。

　　免責聲明：本文由用戶上傳，與本網(wǎng)站立場無關。財經(jīng)信息僅供讀者參考，并不構成投資建議。投資者據(jù)此操作，風險自擔。 如有侵權請聯(lián)系刪除！