發(fā)布時間：2021-03-07 16:31

　　視頻圖像超分辨率重構(gòu)算法是提高圖像傳感器分辨率的重要手段。隨著硬件成本以及需求環(huán)境的增加,傳統(tǒng)的超分辨率重構(gòu)算法存在重構(gòu)質(zhì)量較低以及適用范圍有限的缺點。與單幀圖像重構(gòu)不同的是,視頻圖像需要利用多幀圖像的時空信息,因此視頻圖像重構(gòu)相對來說更有難度。針對視頻圖像中出現(xiàn)遮擋和大型運動時配準(zhǔn)失真的問題,進(jìn)一步增強圖像的重構(gòu)質(zhì)量和細(xì)節(jié)信息,提出一種基于循環(huán)圖像配準(zhǔn)的視頻圖像超分辨率重構(gòu)算法,采用非局部卷積提取圖像特征,集成圖像去噪和隱式運動估計提高配準(zhǔn)精度;引入時間相關(guān)性和注意力機制融合配準(zhǔn)特征,結(jié)合金字塔殘差網(wǎng)絡(luò)和并行卷積重構(gòu)高分辨率視頻圖像;通過包含像素?fù)p失和紋理損失的組合損失函數(shù)訓(xùn)練網(wǎng)絡(luò)。由于目前重構(gòu)算法的人眼視覺感知質(zhì)量和時間一致性較差,提出一種基于生成對抗網(wǎng)絡(luò)的視頻圖像超分辨率重構(gòu)算法,生成網(wǎng)絡(luò)采用輕量級的圖像配準(zhǔn)網(wǎng)絡(luò),結(jié)合全局上下文信息配準(zhǔn)相鄰圖像,彌補像素丟失區(qū)域,采用擴(kuò)張卷積提取全局信息;通過改進(jìn)的判別網(wǎng)絡(luò)以及時間一致性損失增強生成圖像的視覺連貫性,引入全文信息損失在配準(zhǔn)失真時計算圖像相似性約束網(wǎng)絡(luò)訓(xùn)練。通過綜合公共數(shù)據(jù)集在Pytorch平臺上訓(xùn)練和測試提出算法的重構(gòu)質(zhì)量,實驗結(jié)... 

【文章來源】：長春理工大學(xué)吉林省

【文章頁數(shù)】：75 頁

【學(xué)位級別】：碩士

【部分圖文】：

深度細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)VSRnet[29]和CVSRnet[30]中采用Druleas算法[31]進(jìn)行運動補償

第1章緒論7增長，因此無法有效地將它們的方法應(yīng)用于長視頻序列。Wang[39]為了更好地恢復(fù)圖像中的紋理信息，通過額外的先驗信息生成空間變換參數(shù)進(jìn)行特征變換生成更加逼真的圖像紋理。為了減少上采樣過程中帶來的信息損失采用亞像素混合卷積上采樣，利用3D卷積融合特征。為了進(jìn)一步提高顯式運動估計的準(zhǔn)確度，進(jìn)一步采用由粗估計到精確估計的金字塔光流估計網(wǎng)絡(luò)[40-41]，如圖1.7所示。網(wǎng)絡(luò)參數(shù)相較于FlowNetS網(wǎng)絡(luò)減少了96%，將其應(yīng)用于圖像超分辨率重構(gòu)中可以提高配準(zhǔn)精度和速度。但是將基于光流估計的配準(zhǔn)方法用于視頻圖像超分辨率重構(gòu)需要較高的運動量估計以及配準(zhǔn)精確度，當(dāng)存在大型運動的情況下，很難在單個分辨率范圍內(nèi)顯式或隱式執(zhí)行運動補償，造成重構(gòu)質(zhì)量的顯著下降。圖1.7金字塔光流估計網(wǎng)絡(luò)4)基于隱式運動估計的重構(gòu)網(wǎng)絡(luò)由于顯示運動補償?shù)墓烙嬀_度和計算量的限制，出現(xiàn)了許多隱式運動補償方法將運動估計和運動補償合二為一。Niklaus[42]將運動核預(yù)測網(wǎng)絡(luò)應(yīng)用于視頻幀插值，通過將光流估計和圖像融合合并到統(tǒng)一的框架中，如圖1.8所示。圖1.8幀插值重構(gòu)網(wǎng)絡(luò)文獻(xiàn)[43]中為了降低計算內(nèi)存提出可分離卷積，通過估計兩個可分離的一維卷積核近似二維卷積核。但是運動核的大小受到運動限制，運動幅度越大的運動則需要更大的運動量估計核，同時會增加計算負(fù)擔(dān)和內(nèi)存占用，實際應(yīng)用中受到限制。Young[44]

第1章緒論7增長，因此無法有效地將它們的方法應(yīng)用于長視頻序列。Wang[39]為了更好地恢復(fù)圖像中的紋理信息，通過額外的先驗信息生成空間變換參數(shù)進(jìn)行特征變換生成更加逼真的圖像紋理。為了減少上采樣過程中帶來的信息損失采用亞像素混合卷積上采樣，利用3D卷積融合特征。為了進(jìn)一步提高顯式運動估計的準(zhǔn)確度，進(jìn)一步采用由粗估計到精確估計的金字塔光流估計網(wǎng)絡(luò)[40-41]，如圖1.7所示。網(wǎng)絡(luò)參數(shù)相較于FlowNetS網(wǎng)絡(luò)減少了96%，將其應(yīng)用于圖像超分辨率重構(gòu)中可以提高配準(zhǔn)精度和速度。但是將基于光流估計的配準(zhǔn)方法用于視頻圖像超分辨率重構(gòu)需要較高的運動量估計以及配準(zhǔn)精確度，當(dāng)存在大型運動的情況下，很難在單個分辨率范圍內(nèi)顯式或隱式執(zhí)行運動補償，造成重構(gòu)質(zhì)量的顯著下降。圖1.7金字塔光流估計網(wǎng)絡(luò)4)基于隱式運動估計的重構(gòu)網(wǎng)絡(luò)由于顯示運動補償?shù)墓烙嬀_度和計算量的限制，出現(xiàn)了許多隱式運動補償方法將運動估計和運動補償合二為一。Niklaus[42]將運動核預(yù)測網(wǎng)絡(luò)應(yīng)用于視頻幀插值，通過將光流估計和圖像融合合并到統(tǒng)一的框架中，如圖1.8所示。圖1.8幀插值重構(gòu)網(wǎng)絡(luò)文獻(xiàn)[43]中為了降低計算內(nèi)存提出可分離卷積，通過估計兩個可分離的一維卷積核近似二維卷積核。但是運動核的大小受到運動限制，運動幅度越大的運動則需要更大的運動量估計核，同時會增加計算負(fù)擔(dān)和內(nèi)存占用，實際應(yīng)用中受到限制。Young[44]

【參考文獻(xiàn)】：
博士論文
[1]基于深度學(xué)習(xí)的視頻超分辨率算法研究[D]. 李定一.中國科學(xué)技術(shù)大學(xué) 2019



本文編號：3069443