采用雙網(wǎng)絡結(jié)構(gòu)的壓縮視頻超分辨率重建
發(fā)布時間:2020-12-21 06:23
在實際應用中,為了節(jié)省帶寬和方便存儲,圖像和視頻通常被下采樣和壓縮,而降質(zhì)的圖像與視頻無法滿足人們的實際需求。針對這一問題,采用了一種雙網(wǎng)絡結(jié)構(gòu)的超分辨率重建方法,首先建立下采視頻與壓縮后的低分辨率視頻的映射關系,然后建立質(zhì)量增強的壓縮視頻與原始視頻的映射關系,最終在輸出端可以得到質(zhì)量提升的視頻幀。在網(wǎng)絡中,采用密集殘差塊來提取壓縮視頻中豐富的局部分層特征,并結(jié)合全局殘差學習恢復視頻中的高頻信息。在壓縮環(huán)節(jié),采用高性能視頻編碼來驗證所提算法的有效性。實驗結(jié)果表明,相比于主流的視頻編碼標準和先進的超分辨率重建算法,所提方法能有效提升編碼視頻的率失真性能。
【文章來源】:電訊技術. 2020年01期 北大核心
【文章頁數(shù)】:6 頁
【部分圖文】:
本文方法框架
式中:F1(yL)是從輸入視頻yL中提取的特征,W1和B1分別表示權重和偏置濾波器,符號*表示卷積操作。第一層提取的特征映射作為隨后密集殘差塊的輸入。為了更好地利用層次特征,提取了局部密集特征之后,采用了特征融合的策略。2.1.1 密集殘差塊
本文采用Set14[5-6]來驗證卷積網(wǎng)絡的收斂,檢測網(wǎng)絡結(jié)構(gòu)的合理性和有效性。其中,Set14中的信息和訓練集中的完全不同。本文以QP=40為例,在去壓縮過程中,Set14的平均峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)與訓練中迭代次數(shù)的關系曲線如圖3(a)所示,在超分辨率重建過程中的關系曲線如圖3(b)所示。從曲線圖可以看出,本文的數(shù)據(jù)集可以確保卷積神經(jīng)網(wǎng)絡在去壓縮和超分辨率兩個過程中有效收斂。為了驗證本文方法的有效性,本文對多個序列進行實驗,其中包括不同分辨率和紋理信息各異的視頻,并與視頻編碼標準HEVC對比。根據(jù)碼率(單位為kb/s)、視頻峰值信噪比(PSNR)以及結(jié)構(gòu)相似性指數(shù)(Structural Similarity Index,SSIM)的對比結(jié)果,Walk序列采用壓縮標準HEVC時,當重建視頻幀PSNR值為29.19 dB、SSIM值為0.837 3時,碼率為1 362.72 kb/s;而采用本文的方法,當重建視頻幀PSNR值為29.44 dB、SSIM值為0.847 2時,碼率為1 263.84 kb/s。這兩種方法的PSNR值、SSIM值相差不大,本文方法可以比HEVC標準降低更多的碼率。
【參考文獻】:
期刊論文
[1]基于感興趣區(qū)域的HEVC壓縮性能優(yōu)化[J]. 林國川,何小海,李向群,于成業(yè). 電訊技術. 2016(01)
本文編號:2929356
【文章來源】:電訊技術. 2020年01期 北大核心
【文章頁數(shù)】:6 頁
【部分圖文】:
本文方法框架
式中:F1(yL)是從輸入視頻yL中提取的特征,W1和B1分別表示權重和偏置濾波器,符號*表示卷積操作。第一層提取的特征映射作為隨后密集殘差塊的輸入。為了更好地利用層次特征,提取了局部密集特征之后,采用了特征融合的策略。2.1.1 密集殘差塊
本文采用Set14[5-6]來驗證卷積網(wǎng)絡的收斂,檢測網(wǎng)絡結(jié)構(gòu)的合理性和有效性。其中,Set14中的信息和訓練集中的完全不同。本文以QP=40為例,在去壓縮過程中,Set14的平均峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)與訓練中迭代次數(shù)的關系曲線如圖3(a)所示,在超分辨率重建過程中的關系曲線如圖3(b)所示。從曲線圖可以看出,本文的數(shù)據(jù)集可以確保卷積神經(jīng)網(wǎng)絡在去壓縮和超分辨率兩個過程中有效收斂。為了驗證本文方法的有效性,本文對多個序列進行實驗,其中包括不同分辨率和紋理信息各異的視頻,并與視頻編碼標準HEVC對比。根據(jù)碼率(單位為kb/s)、視頻峰值信噪比(PSNR)以及結(jié)構(gòu)相似性指數(shù)(Structural Similarity Index,SSIM)的對比結(jié)果,Walk序列采用壓縮標準HEVC時,當重建視頻幀PSNR值為29.19 dB、SSIM值為0.837 3時,碼率為1 362.72 kb/s;而采用本文的方法,當重建視頻幀PSNR值為29.44 dB、SSIM值為0.847 2時,碼率為1 263.84 kb/s。這兩種方法的PSNR值、SSIM值相差不大,本文方法可以比HEVC標準降低更多的碼率。
【參考文獻】:
期刊論文
[1]基于感興趣區(qū)域的HEVC壓縮性能優(yōu)化[J]. 林國川,何小海,李向群,于成業(yè). 電訊技術. 2016(01)
本文編號:2929356
本文鏈接:http://www.sikaile.net/kejilunwen/wltx/2929356.html
最近更新
教材專著