3D形狀和語(yǔ)義先驗(yàn)引導(dǎo)的高保真人臉交換
人臉交換是生成具有源人臉身份和目標(biāo)圖像屬性的圖像的任務(wù)。當(dāng)前的方法在提供照片般逼真的結(jié)果或保留原始面部形狀方面面臨困難。最近的一項(xiàng)研究提出了一種新穎的端到端學(xué)習(xí)框架，可以保留人臉形狀并生成高保真換臉結(jié)果。3D 形狀感知身份提取器生成具有精確形狀信息的身份向量，以強(qiáng)制執(zhí)行精確的面部形狀轉(zhuǎn)換。提出了語(yǔ)義面部融合模塊，以實(shí)現(xiàn)特征級(jí)和圖像級(jí)的更好結(jié)合。這有助于解決遮擋和照明問(wèn)題。
大量實(shí)驗(yàn)表明，與以前的方法相比，所建議的方法可以產(chǎn)生更高保真度的結(jié)果。它可以應(yīng)用于電影行業(yè)、電腦游戲或面部偽造檢測(cè)。
在這項(xiàng)工作中，我們提出了一種稱(chēng)為 HifiFace 的高保真人臉交換方法，它可以很好地保留源人臉的人臉形狀并生成照片般逼真的結(jié)果。與其他僅使用人臉識(shí)別模型來(lái)保持身份相似性的現(xiàn)有人臉交換工作不同，我們提出了 3D 形狀感知身份來(lái)控制人臉形狀，并結(jié)合 3DMM 和 3D 人臉重建方法的幾何監(jiān)督。同時(shí)，我們引入語(yǔ)義面部融合模塊來(lái)優(yōu)化編碼器和解碼器特征的組合并進(jìn)行自適應(yīng)混合，使結(jié)果更加逼真。在野外進(jìn)行的大量面部實(shí)驗(yàn)表明，我們的方法可以保留更好的身份，尤其是在面部形狀上，并且比以前的最先進(jìn)方法可以產(chǎn)生更逼真的結(jié)果。
標(biāo)簽： 高保真人臉交換