視頻幀率轉(zhuǎn)換技術(shù)是利用視頻中相鄰兩幀之間的相關(guān)信息并應用插值的方法將中間幀重建出來的一種技術(shù)。由于該技術(shù)能在編碼中去除冗余信息并降低視頻傳輸過程中的幀率,減少視頻網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量,因此可應用于視頻壓縮或增強視頻連續(xù)性。傳統(tǒng)的視頻插幀方法主要包括兩個步驟,即光流估計和像素合成。在該方法中視頻插幀技術(shù)的效果往往取決于光流估計的質(zhì)量,而光流估計的過程容易受到遮擋、模糊的影響出現(xiàn)明顯的錯誤。隨著深度學習的發(fā)展,基于深度學習的視頻插幀技術(shù)也有了新的突破,一些研究人員利用卷積神經(jīng)網(wǎng)絡(luò)嘗試進行視頻插幀取得了一定的成功。本文將傳統(tǒng)方法中的光流估計與深度學習相結(jié)合,提出了一種將運動估計和遮擋處理聯(lián)合建模的視頻幀插值的端到端卷積神經(jīng)網(wǎng)絡(luò)模型。本文首先使用改進的FCN網(wǎng)絡(luò)模型計算輸入圖像之間的雙向光流,根據(jù)估計到的雙向光流信息與輸入圖像進行warp操作得到兩個翹曲圖像,為解決遮擋問題,本文使用另一個GridNet網(wǎng)絡(luò)模型重新估計圖像的雙向光流信息并預測插值幀的像素的可見性,最后將估計到的信息與原圖像通過線性融合以形成中間幀。本文還嘗試了多種損失函數(shù),最終確定了將L1損失、感知損失、warp損失、平滑度損失等... 

【文章來源】：哈爾濱工業(yè)大學黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【部分圖文】：

全局感知與局部感知

卷積計算示意圖

池化層示意圖

【參考文獻】：
期刊論文
[1]基于LMS自適應濾波器的設(shè)計[J]. 姜泉璐,汪立新,呂永佳,吳玉彬,葉軍.  電子設(shè)計工程. 2011(14)



本文編號：3076874