“會(huì)說(shuō)話的人”視頻用于各種應(yīng)用，從新聞廣播到游戲和電影中的動(dòng)畫(huà)角色。當(dāng)前的合成技術(shù)在視點(diǎn)和光照變化下遇到困難或視覺(jué)真實(shí)感有限。谷歌研究人員最近的一項(xiàng)工作提出了一種新穎的深度學(xué)習(xí)方法來(lái)合成由音頻語(yǔ)音信號(hào)驅(qū)動(dòng)的 3D 說(shuō)話人臉。

不是建立一個(gè)單一的通用模型來(lái)應(yīng)用于不同的人，而是個(gè)性化的特定于說(shuō)話者的模型。這樣，實(shí)現(xiàn)了更高的視覺(jué)保真度。還創(chuàng)建了一種用于消除空間和時(shí)間照明變化的算法。它還允許以更有效的數(shù)據(jù)方式訓(xùn)練模型。人類(lèi)評(píng)分和客觀指標(biāo)表明，建議的模型在真實(shí)性、口型同步和視覺(jué)質(zhì)量得分方面優(yōu)于當(dāng)前的基線。

在本文中，我們提出了一個(gè)基于視頻的學(xué)習(xí)框架，用于從音頻中制作個(gè)性化的 3D 說(shuō)話人臉動(dòng)畫(huà)。我們引入了兩種訓(xùn)練時(shí)間數(shù)據(jù)標(biāo)準(zhǔn)化，可顯著提高數(shù)據(jù)樣本效率。首先，我們?cè)谝粋€(gè)標(biāo)準(zhǔn)化空間中隔離和表示人臉，該空間將 3D 幾何、頭部姿勢(shì)和紋理解耦。這將預(yù)測(cè)問(wèn)題分解為 3D 面部形狀和相應(yīng) 2D 紋理圖集的回歸。其次，我們利用面部對(duì)稱(chēng)性和皮膚的近似反照率恒定性來(lái)隔離和消除時(shí)空照明變化?？傊@些歸一化允許簡(jiǎn)單的網(wǎng)絡(luò)在新穎的環(huán)境照明下生成高保真口型同步視頻，同時(shí)僅使用單個(gè)特定于說(shuō)話者的視頻進(jìn)行訓(xùn)練。此外，為了穩(wěn)定時(shí)間動(dòng)態(tài)，我們引入了一種自回歸方法，該方法根據(jù)其先前的視覺(jué)狀態(tài)來(lái)調(diào)節(jié)模型。人類(lèi)評(píng)分和客觀指標(biāo)表明，我們的方法在真實(shí)性、口型同步和視覺(jué)質(zhì)量分?jǐn)?shù)方面優(yōu)于當(dāng)代最先進(jìn)的音頻驅(qū)動(dòng)視頻重演基準(zhǔn)。我們說(shuō)明了由我們的框架支持的幾個(gè)應(yīng)用程序。

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！