視頻中的人體動(dòng)作檢測(cè)可應(yīng)用于視頻監(jiān)控、人機(jī)交互和設(shè)備控制等領(lǐng)域。該任務(wù)需要一個(gè)具有 3D 形狀的圖像序列作為輸入，以檢測(cè)諸如跑步或接球之類的動(dòng)作。

通常，卷積神經(jīng)網(wǎng)絡(luò) (CNN) 用于此任務(wù)。然而，他們只考慮時(shí)空特征，而使用頻率特征會(huì)促進(jìn)學(xué)習(xí)。最近 arXiv.org 上的一篇論文提出了一種時(shí)頻域中的端到端單級(jí)網(wǎng)絡(luò)。

3D-CNN 和 2D-??CNN 分別用于提取時(shí)間和頻率特征。然后，將它們與注意力機(jī)制融合以獲得檢測(cè)模式。實(shí)驗(yàn)證明了所建議的方法相對(duì)于其他最先進(jìn)的模型的優(yōu)越性。證明了利用頻率特征進(jìn)行動(dòng)作檢測(cè)的可行性。

目前，大多數(shù)用于視頻中人體動(dòng)作檢測(cè)的深度學(xué)習(xí)方法都采用時(shí)空特征，然而，它們忽略了頻域中的重要特征。在這項(xiàng)工作中，我們提出了一個(gè)同時(shí)考慮時(shí)間和頻率特征的端到端網(wǎng)絡(luò)，稱為 TFNet。TFNet有兩個(gè)分支，一個(gè)是由三維卷積神經(jīng)網(wǎng)絡(luò)(3D-CNN)構(gòu)成的時(shí)間分支，以圖像序列為輸入提取時(shí)間特征;另一個(gè)是頻率分支，通過二維卷積神經(jīng)網(wǎng)絡(luò)(2D-CNN)從DCT系數(shù)中提取頻率特征。最后，為了獲得動(dòng)作模式，這兩個(gè)特征在注意力機(jī)制下深度融合。

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！