人眼逼真合成 動(dòng)畫和重新照明的混合表示
眼睛提供了重要的社交線索，甚至可以確定對(duì)象的情緒狀態(tài)。因此，在開發(fā)逼真的3D化身技術(shù)時(shí)，必須對(duì)允許對(duì)人眼圖像進(jìn)行細(xì)粒度的逼真控制的方法和系統(tǒng)給予極大的關(guān)注。
arXiv.org上最近的一篇論文提出了一種新穎的混合表示，它結(jié)合了基于網(wǎng)格和體積重建的優(yōu)點(diǎn)，以在所需的環(huán)境照明下實(shí)現(xiàn)眼睛區(qū)域的動(dòng)畫合成。輕量級(jí)捕捉系統(tǒng)是由少量靜態(tài)攝像機(jī)和燈光以及一個(gè)具有同位光源的手持式攝像機(jī)設(shè)計(jì)而成的。
該方法能夠?qū)崿F(xiàn)逼真的視圖合成和重新照明。此外，實(shí)現(xiàn)了對(duì)對(duì)象注視的細(xì)粒度控制。這些能力在幾個(gè)具有不同面部和眼部特征的真實(shí)主題上得到證明。
創(chuàng)建高質(zhì)量可動(dòng)畫和可重新點(diǎn)亮的3D人物頭像的獨(dú)特挑戰(zhàn)是對(duì)人眼進(jìn)行建模。合成眼睛的挑戰(zhàn)是多方面的，因?yàn)樗枰?)適當(dāng)表示眼睛的各種組件和眼周區(qū)域以進(jìn)行連貫的視點(diǎn)合成，能夠表示漫反射、折射和高反射表面，2)從環(huán)境中解開皮膚和眼睛外觀照明，使其可以在新的照明條件下渲染，以及3)捕捉眼球運(yùn)動(dòng)和周圍皮膚的變形，以便重新凝視。這些挑戰(zhàn)傳統(tǒng)上需要使用昂貴且繁瑣的捕獲設(shè)置來(lái)獲得高質(zhì)量的結(jié)果，即使如此，眼部區(qū)域的整體建模仍然難以捉摸。我們提出了一種新穎的幾何和外觀表示，僅使用一組稀疏的燈光和相機(jī)即可實(shí)現(xiàn)高保真捕捉和逼真的動(dòng)畫、視圖合成和眼睛區(qū)域的重新照明。我們的混合表示將眼球的顯式參數(shù)表面模型與眼周區(qū)域和眼睛內(nèi)部的隱式可變形體積表示相結(jié)合。這種新穎的混合模型旨在解決具有挑戰(zhàn)性的面部區(qū)域的各個(gè)部分-顯式眼球表面允許模擬角膜的折射和高頻鏡面反射，而隱式表示非常適合通過(guò)以下方式模擬低頻皮膚反射球諧函數(shù)，可以表示非表面結(jié)構(gòu)，例如頭發(fā)或漫反射體積體，這兩者都是顯式表面模型的挑戰(zhàn)。我們表明，對(duì)于眼睛的高分辨率特寫，我們的模型可以在看不見的照明條件下從新穎的視圖中合成高保真動(dòng)畫凝視。
標(biāo)簽：