【摘要】：圖像超分辨率和圖像修復(fù)是圖像處理領(lǐng)域的基礎(chǔ)問題,其目標(biāo)在于構(gòu)造滿足人類視覺感知的高質(zhì)量圖像。由于圖像在采集、傳輸及保存過程中受到諸多退化因素的干擾,導(dǎo)致所得圖像分辨率較低或內(nèi)容缺損,進(jìn)而影響人類對(duì)于圖像內(nèi)容的準(zhǔn)確理解以及計(jì)算機(jī)對(duì)圖像特征的提取。圖像超分辨率旨在針對(duì)低分辨率圖像,構(gòu)造其對(duì)應(yīng)的高分辨率圖像,增加像素?cái)?shù)目及高頻信息,使圖像具有清晰的邊緣及有序的紋理,以展示更多的圖像細(xì)節(jié)。圖像修復(fù)的研究目標(biāo)為填補(bǔ)圖像中丟失的信息或者去除圖像中的遮擋物體,使得修復(fù)之后的圖像滿足人類的視覺感知,修復(fù)痕跡不易被察覺,邊緣保持連續(xù)且平滑,紋理保持一致及有序。圖像超分辨率與圖像修復(fù)的研究目標(biāo)均為對(duì)退化圖像進(jìn)行視覺優(yōu)化,重建圖像中的缺失信息。二者在醫(yī)學(xué)、太空項(xiàng)目、考古學(xué)、工業(yè)界及人們的生活中有著廣泛的應(yīng)用。作為圖像處理中的不適定(ill-posed)問題,圖像超分辨率和圖像修復(fù)的研究面臨一系列問題和挑戰(zhàn)。首先,對(duì)于超分辨率問題,相對(duì)于低分辨率圖像,構(gòu)造高分辨率圖像需要增加的像素?cái)?shù)目遠(yuǎn)遠(yuǎn)多于已知低分辨率像素?cái)?shù)目,并且需要增加高頻信息以提升圖像的清晰度;其次,圖像修復(fù)需要對(duì)圖像的內(nèi)容有一定的理解,不同于人類具有高級(jí)的視覺感知系統(tǒng),計(jì)算機(jī)無法直接理解圖像內(nèi)容,因而對(duì)于復(fù)雜的場(chǎng)景或者較大的修復(fù)區(qū)域,無法以明確的數(shù)學(xué)模型推斷圖像的缺失內(nèi)容。本文圍繞圖像超分辨率和修復(fù)問題中的研究熱點(diǎn)和難點(diǎn)展開研究,提出基于圖像特征及實(shí)例的處理方法。新方法能夠充分利用圖像中的邊緣特征及自相似特征,對(duì)未知信息進(jìn)行合理的判斷。主要工作包括:1.提出了特征約束的多實(shí)例圖像超分辨率方法。圖像邊緣的幾何正則性是圖像中重要的視覺特征,自相似性是圖像中普遍存在的統(tǒng)計(jì)特征,本方法將兩個(gè)特征作為先驗(yàn)知識(shí)構(gòu)建高分辨率圖像。首先提出邊緣特征約束的多項(xiàng)式插值方法對(duì)輸入圖像進(jìn)行初始放大,使得初始高分辨率圖像能夠保持邊緣、紋理等結(jié)構(gòu)特征。然后,基于同一幅圖像不同尺度之間的相似性,提出自適應(yīng)KNN搜索方法,學(xué)習(xí)已知高、低分辨率低頻圖像對(duì)之間的多實(shí)例回歸關(guān)系;在高頻空間,應(yīng)用多實(shí)例回歸關(guān)系推斷高頻信息。其中,最近鄰數(shù)目K由圖像塊特征自適應(yīng)決定。實(shí)驗(yàn)結(jié)果表明,新方法構(gòu)造的高分辨率圖像結(jié)構(gòu)清晰、紋理有序。2.提出了基于非局部特征的迭代反投影圖像超分辨率方法。高分辨率圖像降質(zhì)之后的低分辨率圖像和輸入低分辨率圖像之間的差被稱為重建誤差,本方法以最小化重建誤差為目標(biāo)方程,通過將重建誤差各向異性迭代反投影到高分辨率圖像求解目標(biāo)方程的解。為了優(yōu)化初始高分辨率圖像,并引導(dǎo)重建誤差的各向異性傳播,設(shè)計(jì)了一種高效的非局部特征插值方法。在插值方法中,邊緣信息被用作約束,使插值曲面保持更好的形狀。此外,利用非局部相似性去除由誤差傳播引起的噪聲和不規(guī)則性。通過結(jié)合圖像邊緣及自相似性,有效地約束了解空間,并引導(dǎo)目標(biāo)方程收斂于保持特征的解。實(shí)驗(yàn)結(jié)果表明,提出的方法在量化指標(biāo)和視覺質(zhì)量方面均取得了更好的效果。3.提出了基于超像素和簡(jiǎn)單語義分割的圖像修復(fù)方法。圖像修復(fù)方法通常利用已知的圖像數(shù)據(jù)推斷未知信息,因此,信息來源的可靠性是影響修復(fù)效果的關(guān)鍵。本方法利用圖像結(jié)構(gòu)的稀疏性定義修復(fù)順序的優(yōu)先權(quán),以由外向內(nèi)、結(jié)構(gòu)區(qū)域優(yōu)先的順序進(jìn)行修復(fù)。通過位置約束的距離公式搜索源區(qū)域中的相似實(shí)例,采用實(shí)例中的信息填補(bǔ)未知區(qū)域。對(duì)圖像進(jìn)行超像素分割,以區(qū)分不同的色彩或紋理;借助用戶提供的分割點(diǎn)對(duì)圖像進(jìn)行簡(jiǎn)單的語義分割,將相似實(shí)例來源限制在同一語義區(qū)域內(nèi)的鄰接超像素。通過對(duì)實(shí)例來源的限制,提高了修復(fù)信息的可靠性,并且極大地提升了相似實(shí)例的搜索效率。實(shí)驗(yàn)結(jié)果表明,新方法能夠保持邊緣的連續(xù)性以及同一語義區(qū)域內(nèi)色彩及紋理的一致性,避免了邊緣中斷及紋理跨界現(xiàn)象的產(chǎn)生,修復(fù)后的圖像具有較高的視覺質(zhì)量。
【圖文】：

維矩陣表示，矩陣中每個(gè)元素為對(duì)應(yīng)像素的灰度值。彩色圖像分為Ｒ、Ｇ、Ｂ三逡逑個(gè)通道，每個(gè)通道可由一個(gè)二維矩陣表示，矩陣中每個(gè)元素為對(duì)應(yīng)像素在該逡逑通道的亮度值。圖像分辨率指圖像中包含的像素個(gè)數(shù)。以圖１．１（ａ）為例，該圖逡逑像分辨率為１％邋ｘ邋１９０，即具有１９０邋ｘ邋１９０個(gè)像素。圖像超分辨率重建旨在由低逡逑分辨率圖像構(gòu)造結(jié)構(gòu)清晰、細(xì)節(jié)有序的高分辨率圖像，也被稱作圖像放大。圖逡逑像超分辨率算法通過增加像素?cái)?shù)目及高頻信息實(shí)現(xiàn)超分辨率圖像重建。例如，逡逑圖１．１（ａ）所示的低分辨率圖像像素?cái)?shù)目較少，較為模糊，圖１．１（ｂ）為對(duì)該圖像２倍逡逑放大后得到的高分辨率圖像，其像素?cái)?shù)目是原低分辨率圖像的４倍，且包含更多逡逑的高頻信息，可以更為清晰地展示更多細(xì)節(jié)內(nèi)容。圖像修復(fù)研宄如何去除圖像逡逑中遮擋信息或者填補(bǔ)空缺信息。圖１．１（ｃ）為待修復(fù)圖像，其部分內(nèi)容被英文單詞逡逑覆蓋

Ｌ邋＝邋Ｄ｛Ｂ＊Ｈ）邋＋邋Ｎ，邐（２．１）逡逑其中，Ｌ為低分辨率圖像，如圖２．１（ｃ）；邋／／為高分辨率圖像，如圖２．１（ａ）；邋Ｓ為模逡逑糊濾波器；Ｄ為降采樣操作；ｉＶ為噪聲；＊為卷積操作。模糊濾波過程Ｂ＊／／建模逡逑圖２．１（ａ）到圖２．１（ｂ）的轉(zhuǎn)化，降采樣函數(shù)Ｚ）？建模圖２．１（ｂ）到圖２．１（ｃ）的轉(zhuǎn)化。降逡逑質(zhì)模型描述一幅高分辨率圖像如何退化為低分辨率圖像，揭示了圖像降質(zhì)的原逡逑因。在圖像超分辨率領(lǐng)域，具體用到的圖像降質(zhì)模型有隔行隔列降采樣、平均逡逑降采樣及模糊降采樣三種。圖２．２所示為縮小因子ｓ邋＝邋２時(shí)三種降質(zhì)模型中高、逡逑低分辨率像素之間的關(guān)系，圖中空心圓圈表示降質(zhì)之前的像素點(diǎn)，實(shí)心黑色圓逡逑點(diǎn)表示降質(zhì)之后的像素點(diǎn)，實(shí)心灰色圓點(diǎn)表示模糊濾波之后的像素點(diǎn)。逡逑°邐１ｆ邐邐邐逡逑＜１邋１）邋ＩＩ邋0邋邋邋＜，邋＇＞邋ｉｔ邋１１．．邋競(jìng)邋ｉ逡逑＂邋＂邋＂邋°邋＇＾－７＇邋＇？邋￣￣￣！，邋＂邋邋邋‘逡逑．邐｝邋ｊ邋：逡逑（ａ）隔行隔列降采樣邋（ｂ）平均降采樣邋（ｃ）模糊降采樣逡逑圖２．２邋３種降質(zhì)模型。逡逑？隔行隔列降采樣：每ｓｘｓ個(gè)高分辨率像素取一個(gè)像素作為低分辨率像素。逡逑對(duì)應(yīng)公式２．１
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP391.41

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 肖進(jìn)勝;高威;彭紅;唐路敏;易本順;;基于局部自相似性和奇異值分解的超采樣圖像細(xì)節(jié)增強(qiáng)[J];計(jì)算機(jī)學(xué)報(bào);2016年07期

2 肖進(jìn)勝;饒?zhí)煊?賈茜;唐路敏;岳顯昌;;改進(jìn)的自適應(yīng)沖擊濾波圖像超分辨率插值算法[J];計(jì)算機(jī)學(xué)報(bào);2015年06期

3 陳曉璇;齊春;;基于低秩矩陣恢復(fù)和聯(lián)合學(xué)習(xí)的圖像超分辨率重建[J];計(jì)算機(jī)學(xué)報(bào);2014年06期

4 ;Cubic surface fitting to image by combination[J];Science China(Information Sciences);2010年07期

5 陳中貴;劉利剛;王國(guó)瑾;;基于全局優(yōu)化的圖像塊填充修復(fù)方法[J];計(jì)算機(jī)研究與發(fā)展;2009年01期

6 韓萍,蘇志勛,劉秀平;帶參數(shù)Coons插值曲面的圖像插值方法[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2005年05期

7 吳偉仁,閆磊,田金文;基于小波變換與Bézier曲面插值相結(jié)合的圖像插值方法[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2004年11期

相關(guān)博士學(xué)位論文 前4條

1 穆紹碩;基于多幀影像的航空超分辨成像技術(shù)研究[D];中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所;2017年

2 劉倩;基于非局部稀疏的圖像去噪與平滑方法研究[D];山東大學(xué);2016年

3 楊秀紅;基于結(jié)構(gòu)張量的數(shù)字圖像修復(fù)技術(shù)研究[D];西安電子科技大學(xué);2014年

4 楊宇翔;圖像超分辨率重建算法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2013年

，

本文編號(hào)：2600213