用于無(wú)監(jiān)督視頻分解的可變形精靈
當(dāng)人們觀察動(dòng)態(tài)場(chǎng)景的視頻時(shí)，他們不會(huì)看到隨著時(shí)間推移出現(xiàn)的一組不相交的像素，而是在 3D 場(chǎng)景中移動(dòng)的高級(jí)對(duì)象。受這一觀察的啟發(fā)，最近的一篇論文提出了一種新方法，將復(fù)雜動(dòng)態(tài)場(chǎng)景的視頻分解為一組持續(xù)運(yùn)動(dòng)組。
研究人員提出了整個(gè)視頻中運(yùn)動(dòng)組的表示，稱為 Deformable Sprites。Deformable Sprites 表示僅根據(jù)視頻中存在的圖像和運(yùn)動(dòng)提示擬合視頻，無(wú)需任何用戶輸入。此外，該方法可以處理帶有移動(dòng)相機(jī)和鉸接或可變形物體的視頻。
該方法支持諸如一致的視頻編輯或 2D 運(yùn)動(dòng)雕塑效果等應(yīng)用。對(duì)標(biāo)準(zhǔn)視頻對(duì)象分割基準(zhǔn)的評(píng)估表明，所提出的方法獲得了有競(jìng)爭(zhēng)力的結(jié)果。
我們描述了一種從輸入視頻中提取動(dòng)態(tài)場(chǎng)景的持久元素的方法。我們將每個(gè)場(chǎng)景元素表示為由三個(gè)組件組成的 \emph{Deformable Sprite}：1)整個(gè)視頻的 2D 紋理圖像，2)元素的每幀掩碼，以及 3)映射紋理的非剛性變形圖像到每個(gè)視頻幀。由此產(chǎn)生的分解允許諸如一致的視頻編輯之類(lèi)的應(yīng)用。Deformable Sprites 是一種針對(duì)單個(gè)視頻進(jìn)行優(yōu)化的視頻自動(dòng)編碼器模型，不需要在大型數(shù)據(jù)集上進(jìn)行訓(xùn)練，也不依賴于預(yù)訓(xùn)練模型。此外，我們的方法不需要對(duì)象掩碼或其他用戶輸入，并且發(fā)現(xiàn)比以前的工作更廣泛的移動(dòng)對(duì)象。我們?cè)跇?biāo)準(zhǔn)視頻數(shù)據(jù)集上評(píng)估我們的方法，并在各種互聯(lián)網(wǎng)視頻上展示定性結(jié)果。
標(biāo)簽：