圖像超分辨重建技術因其可以方便快速地將低分辨率圖像高效高質地重建為高分辨率圖像而備受關注,在遙感成像、醫(yī)學影像處理、視頻監(jiān)控等領域有廣泛應用。由于計算機硬件的發(fā)展和訓練算法的進步,深度學習具有強大的處理大量非結構化數(shù)據(jù)的能力。近年來,基于深度學習的單幅圖像超分辨重建技術取得了較大進展。但是,考慮到任務自身的難點以及主客觀評價指標的差異,已有研究成果與實際應用間還存在差距。因此,本文針對基于深度學習的單幅圖像超分辨重建算法進行了深入研究,并提出了三種不同的解決方案。本文主要工作概括如下:首先,對單幅圖像超分辨重建相關文獻進行了回顧,對基于學習的相關工作進行了分類與總結,按照神經(jīng)網(wǎng)絡結構和優(yōu)化目標函數(shù)兩個方向,介紹了其中代表性工作,并對解決思路與關鍵算法進行梳理。其次,針對傳統(tǒng)的單幅圖像超分辨重建任務,構建了一種多尺度殘差模塊,在此基礎上提出了一種基于多尺度深度殘差網(wǎng)絡的單幅圖像超分辨重建算法MSCDR。多尺度殘差塊采用雙通道設置,分別包含1×1卷積核和3×3卷積核,既拓展網(wǎng)絡寬度又擴大網(wǎng)絡感受野,可以增強網(wǎng)絡的非線性表達能力,并且有利于提取更多的細節(jié)特征。移除批規(guī)范化層,從而節(jié)約計算資源... 

【文章來源】：東南大學江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：98 頁

【學位級別】：碩士

【部分圖文】：

ILSVRC歷年冠軍算法的分類誤差率比較

東南大學碩士學位論文可以發(fā)現(xiàn)這些梯度值會有一系列的連乘操作，當網(wǎng)絡層數(shù)增加時，梯度會在傳播過程中逐漸消失，進而無法避免地就沒法再對之前的各層網(wǎng)絡的權重進行行之有效的調整了。圖2.2鏈式法則示意圖采用這種殘差模塊的方案，還有一個優(yōu)勢就是可以從根本上避免了梯度消失現(xiàn)象的產生。同樣在圖2.1(a)當中，設第l個殘差層的輸入特征為xl，F(xiàn)為殘差函數(shù)，Wl是與第l個殘差層相關的權重，f是捷徑連接相加之后的操作，此處采用的是Relu激活函數(shù)，I為恒等映射，I(xl)=xl，那么殘差模塊內部具有如公式2.2和公式2.3所示的關系：yl=I(xl)+F(xl,ωl)(2.2)xl+1=f(yl)(2.3)當f也是恒等映射時，即xl+1≡yl時，可以得到遞推公式2.4，繼而得到公式2.5。xl+1=xl+F(xl,ωl)xl+2=xl+1+F(xl+1,ωl+1)...xL=xL1+F(xL1,ωL1)(2.4)xL=xl+L1∑i=lF(xi,ωi)(2.5)從公式2.5中可以看出，對于第L個殘差塊的輸入可以用其中一個淺層的殘差塊l的輸入加上它們之間所有的殘差函數(shù)之和來表示；對于第L個殘差塊，其輸入就可以直接用初始殘差塊的輸入再加上之前一系列的殘差模塊輸出的總和，即xL=x0+∑L1i=0F(xi,ωi)。另外，假設損失函數(shù)為ε，通過上述的反向傳播的鏈式法則可以計算出公式2.6：εxl=εxLxLxl=εxL(1+xlL1∑i=lF(xi,ωi))(2.6)在傳統(tǒng)神經(jīng)網(wǎng)絡的結構中，第L層的輸入特征xL是一系列各自權重與輸入特征的乘積，即∏L1i=0Wix0。由公式2.6可知，傳統(tǒng)網(wǎng)絡中反向傳播時產生的矩陣向量連乘被一系列殘差函數(shù)結果的累加所取代，這就意味著造成梯度消失的根本原因已經(jīng)被避免了。上述整個推導過程有一個前提條件，就是I(xl)=xl和xl+1=

第二章基于深度殘差網(wǎng)絡的單幅圖像超分辨重建2.3基于多尺度深度殘差網(wǎng)絡的單幅圖像超分辨重建2.3.1多尺度聯(lián)合亞像素卷積深度殘差網(wǎng)絡本章提出的多尺度聯(lián)合亞像素卷積深度殘差網(wǎng)絡(MultiscaleSubpixelConvolution-basedDeepResnet,MSCDR)，其具體架構如圖2.5所示。首先在殘差塊部分級聯(lián)了32個如圖2.14所示的多尺度殘差模塊，接著通過捷徑連接，直接將低層次的輸入特征圖與當前獲得的高層次特征圖相加。將多個層次信息融合，既可以防止網(wǎng)絡的梯度消失，也可以增強判別信息的能力。我們采用亞像素卷積的方式，將從低分辨率空間中產生的特征圖通過周期性篩選，重置得到預測高分辨率輸出圖像ISR。圖2.5多尺度聯(lián)合亞像素卷積深度殘差網(wǎng)絡與VDSR算法不同，其雖然使用多尺度圖像作為訓練集，但網(wǎng)絡僅能提取輸入圖像在單一尺度上的特征，實際上無法充分挖掘輸入的多尺度圖像在不同尺度間隱藏的信息。MSCDR采用多通道的形式，利用多尺度殘差模塊，對于每個輸入圖像內部多個尺度的特征，利用網(wǎng)絡以挖掘潛在的更加豐富的細節(jié)特征，可以為提高圖像的重建質量做貢獻。在傳統(tǒng)方案和SRCNN算法中，對于圖像的上采樣主要有兩種方案。一種是Osendor-fer等人[71]采用的在網(wǎng)絡中間逐漸提高圖像分辨率。另一種方案，先采用雙三次插值對輸入的低分辨率圖像進行上采樣，將其放大至與期望輸出圖像相同尺寸后作為網(wǎng)絡的輸入數(shù)據(jù)，因而整個訓練過程始終是處于高分辨率空間中，這必然增加計算的復雜性。卷積網(wǎng)絡的處理速度直接取決于輸入圖像的分辨率，這必然會使網(wǎng)絡的訓練時間增加。其次，插值方案不會帶來額外信息以彌補重建問題中的不足。本章提出的MSCDR算法采用亞像素卷積層，在低分辨率空間中進行網(wǎng)絡訓練，具體將在2.3.2節(jié)和2.3.3節(jié)中介紹。多尺度殘差模塊主要有三個


本文編號：2955954