計算機生成圖像的進步使生動逼真的動畫栩栩如生，但是與我們在屏幕上看到的模擬聲音(例如兩個物體碰撞)相關(guān)的聲音通常是錄音?，F(xiàn)在，斯坦福大學(xué)的研究人員已經(jīng)開發(fā)出一種系統(tǒng)，該系統(tǒng)可以為各種動畫現(xiàn)象自動呈現(xiàn)準(zhǔn)確的聲音。

“能夠為人類模擬現(xiàn)實的計算過程中有一個圣杯。斯坦福大學(xué)計算機科學(xué)教授道格·詹姆斯說 。“目前，尚無辦法自動為復(fù)雜的動畫內(nèi)容(如潑水或碰撞的物體)生成逼真的同步聲音。這填補了這個空白。”

研究人員將 作為ACM SIGGRAPH 2018(計算機圖形和交互技術(shù)的領(lǐng)先會議)的一部分介紹他們在這種聲音合成系統(tǒng)上 的 工作。研究人員說，除了使電影和虛擬現(xiàn)實世界充滿活力之外，該系統(tǒng)還可以幫助工程公司原型化產(chǎn)品在實際生產(chǎn)之前的聲音，并希望鼓勵設(shè)計更安靜，更不令人討厭。

“我已經(jīng)花了很多年的時間來嘗試解決控制聲音傳播的偏微分方程，”詹姆斯實驗室和計算與數(shù)學(xué)工程學(xué)院(ICME)的研究生Jui-Hsien Wang說 ，該論文的主要作者。“實際上，在這里，您不僅可以求解方程式，而且一旦完成方程式，便可以真正聽到它。這真讓我興奮，也很有趣。”

預(yù)測聲音

借助幾何形狀和物理運動，該系統(tǒng)可以確定每個對象的振動以及這些振動如何像揚聲器一樣激發(fā)聲波。它可以計算由于快速移動和振動的表面而散發(fā)出的壓力波，但不會復(fù)制房間的聲音。因此，盡管它不能在宏偉的大教堂中重現(xiàn)回聲，但它可以解決諸如c鼓崩潰，倒置的碗旋轉(zhuǎn)到停止，玻璃杯中充滿水或虛擬人物正在向擴音器說話等場景發(fā)出的詳細聲音。 。

與動畫相關(guān)的大多數(shù)聲音都依賴于預(yù)先錄制的剪輯，這需要大量的人工才能與屏幕上的動作同步。這些片段還僅限于存在的噪聲-它們無法預(yù)測任何新的事物。其他產(chǎn)生和預(yù)測聲音的效果與James和他的團隊的聲音一樣精確的系統(tǒng)只能在特殊情況下工作，或者假設(shè)幾何形狀不會發(fā)生太大變形。對于每個單獨的對象，它們還需要很長的預(yù)計算階段。

詹姆士實驗室的研究生，論文的合著者安特·屈(Ante Qu)說：“我們的本質(zhì)上只是一個渲染按鈕，它具有最少的預(yù)處理，可以在一次聲波模擬中將所有對象一起處理。”

這種方法產(chǎn)生的模擬聲音非常詳細。它不僅考慮了動畫中每個對象產(chǎn)生的聲波，而且還根據(jù)它們與場景中其他對象的相互作用，預(yù)測這些波如何彎曲，反彈或消逝。

未來的挑戰(zhàn)

按照目前的形式，小組的過程需要一段時間才能創(chuàng)建出成品。但是，既然他們已經(jīng)證明了該技術(shù)的潛力，他們就可以專注于性能優(yōu)化，例如在并行GPU硬件上實施其方法，這應(yīng)該可以大大加快速度。

而且，即使在當(dāng)前狀態(tài)下，結(jié)果也值得期待。

詹姆斯說：“我們使用該系統(tǒng)生成的第一批水聲音是我們模擬的最佳聲音之一，而水對于計算機生成的聲音來說是巨大的挑戰(zhàn)。” “我們認(rèn)為我們可能會有所改善，但即使是開箱即用，它也比以前的方法要好得多。真的很驚人。”

盡管該小組的工作忠實地呈現(xiàn)了各種對象相互旋轉(zhuǎn)，掉落和撞擊的聲音，但更復(fù)雜的對象和交互作用(例如Stradivarius小提琴的回響音調(diào))仍然難以實際建模。該組織表示，這將不得不等待未來的解決方案。

標(biāo)簽： 計算機科學(xué)