最近可穿戴相機(jī)的發(fā)展使第一人稱視覺數(shù)據(jù)的人員重新識別(re-ID)變得可用。盡管如此，由于模糊、光照變化或視頻質(zhì)量差，仍然缺乏合適的以自我為中心的視覺數(shù)據(jù)集。

最近的一項(xiàng)研究建議使用基于神經(jīng)風(fēng)格轉(zhuǎn)移的域適應(yīng)技術(shù)，該技術(shù)從未被用于彌合固定相機(jī)和以自我為中心的數(shù)據(jù)集之間的差距。

該方法使用固定的相機(jī) re-ID 數(shù)據(jù)集來提高以自我為中心的 re-ID 的性能。生成具有以自我為中心和固定相機(jī)數(shù)據(jù)集的特征的圖像。然后，使用來自固定相機(jī)數(shù)據(jù)集的圖像對預(yù)訓(xùn)練模型進(jìn)行微調(diào)。然后使用計算出的特征來重新識別個人。與非風(fēng)格遷移圖像相比，風(fēng)格遷移圖像的使用提高了高達(dá) 203.8% 的識別率。

第一人稱(以自我為中心)視覺中的人員重新識別(re-ID)是一個相當(dāng)新的未開發(fā)的問題。隨著可穿戴視頻記錄設(shè)備的增加，以自我為中心的數(shù)據(jù)變得容易獲得，而個人重新識別有可能從中受益匪淺。然而，由于視頻質(zhì)量差且大多數(shù)錄制內(nèi)容中缺少個人，因此嚴(yán)重缺乏用于人員重新識別的大規(guī)模結(jié)構(gòu)化以自我為中心的數(shù)據(jù)集。盡管已經(jīng)在基于固定監(jiān)控攝像頭的人員重新識別方面進(jìn)行了大量研究，但這些并沒有直接使以自我為中心的重新識別受益。

由于數(shù)據(jù)集偏差問題，在公開可用的大規(guī)模 re-ID 數(shù)據(jù)集上訓(xùn)練的機(jī)器學(xué)習(xí)模型不能應(yīng)用于以自我為中心的 re-ID。所提出的算法利用結(jié)合了卷積神經(jīng)網(wǎng)絡(luò) (CNN) 變體的神經(jīng)風(fēng)格遷移 (NST) 來利用固定相機(jī)視覺和第一人稱視覺的優(yōu)勢。NST 從以自我為中心的數(shù)據(jù)集和固定相機(jī)數(shù)據(jù)集生成具有特征的圖像，這些圖像通過在固定相機(jī)數(shù)據(jù)集上訓(xùn)練的 VGG-16 網(wǎng)絡(luò)饋送以進(jìn)行特征提取。然后使用這些提取的特征來重新識別個人。

固定相機(jī)數(shù)據(jù)集 Market-1501 和第一人稱數(shù)據(jù)集 EGO Re-ID 用于這項(xiàng)工作，結(jié)果與當(dāng)前以自我為中心的重新識別模型相當(dāng)。NST 從以自我為中心的數(shù)據(jù)集和固定相機(jī)數(shù)據(jù)集生成具有特征的圖像，這些圖像通過在固定相機(jī)數(shù)據(jù)集上訓(xùn)練的 VGG-16 網(wǎng)絡(luò)饋送以進(jìn)行特征提取。然后使用這些提取的特征來重新識別個人。固定相機(jī)數(shù)據(jù)集 Market-1501 和第一人稱數(shù)據(jù)集 EGO Re-ID 用于這項(xiàng)工作，結(jié)果與當(dāng)前以自我為中心的重新識別模型相當(dāng)。NST 從以自我為中心的數(shù)據(jù)集和固定相機(jī)數(shù)據(jù)集生成具有特征的圖像，這些圖像通過在固定相機(jī)數(shù)據(jù)集上訓(xùn)練的 VGG-16 網(wǎng)絡(luò)饋送以進(jìn)行特征提取。然后使用這些提取的特征來重新識別個人。固定相機(jī)數(shù)據(jù)集 Market-1501 和第一人稱數(shù)據(jù)集 EGO Re-ID 用于這項(xiàng)工作，結(jié)果與當(dāng)前以自我為中心的重新識別模型相當(dāng)。

標(biāo)簽：