圖像補(bǔ)全技術(shù)是指根據(jù)圖像中缺失或損壞區(qū)域的上下文信息將圖像補(bǔ)全為完整的圖像,并達(dá)到真實(shí)、自然的補(bǔ)全效果。圖像補(bǔ)全技術(shù)是低級(jí)視覺(jué)中的基本問(wèn)題,目前已經(jīng)引起了計(jì)算機(jī)視覺(jué)和圖形領(lǐng)域的廣泛興趣。已有的圖像補(bǔ)全方法大都基于面積較小或者位于圖像中心的缺失區(qū)域,當(dāng)缺失區(qū)域面積較大或者位于圖像邊緣位置時(shí),補(bǔ)全結(jié)果便會(huì)產(chǎn)生空白、失真及偽彩色等現(xiàn)象。論文在已有方法的基礎(chǔ)上提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的分級(jí)聯(lián)合圖像補(bǔ)全方法,即采用生成對(duì)抗的方式,對(duì)大面積和位于圖像邊緣位置的缺失區(qū)域進(jìn)行分級(jí)聯(lián)合補(bǔ)全。首先以補(bǔ)全網(wǎng)絡(luò)的生成圖像和原始完整圖像之間的均方誤差損失為目標(biāo)函數(shù),通過(guò)補(bǔ)全網(wǎng)絡(luò)進(jìn)行反復(fù)迭代,得到初步補(bǔ)全的圖像;然后固定補(bǔ)全網(wǎng)絡(luò),將初步補(bǔ)全的圖像劃分為圖像的全部區(qū)域、以補(bǔ)全區(qū)域?yàn)橹行牡膮^(qū)域和補(bǔ)全區(qū)域的中心區(qū)域三部分,并分別輸入到對(duì)應(yīng)的判別網(wǎng)絡(luò)中進(jìn)行反向傳播訓(xùn)練;最后將補(bǔ)全網(wǎng)絡(luò)和判別網(wǎng)絡(luò)一起迭代訓(xùn)練。此外,還針對(duì)原始生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練的不穩(wěn)定問(wèn)題對(duì)網(wǎng)絡(luò)結(jié)構(gòu)做出了改進(jìn)。該方法的優(yōu)勢(shì)在于:一方面,通過(guò)將圖像進(jìn)行分區(qū),保證了補(bǔ)全結(jié)果的全局、局部一致性及生成的紋理信息的真實(shí)性;另一方面,通過(guò)添加局部判別網(wǎng)絡(luò)并對(duì)原始網(wǎng)絡(luò)結(jié)構(gòu)... 

【文章來(lái)源】：北京林業(yè)大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：57 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

基于結(jié)構(gòu)紋理的圖像修復(fù)算法效果圖

第二章相關(guān)工作及國(guó)內(nèi)外研究進(jìn)展7各個(gè)區(qū)域的顏色等紋理信息具有很強(qiáng)的相似性時(shí)才能取得較好的效果，因此這種直接從周圍信息截取圖像塊的方法不具有通用性�；谏疃葘W(xué)習(xí)的圖像補(bǔ)全方法保留了圖像的語(yǔ)義特征和結(jié)構(gòu)信息，提高了大面積缺失區(qū)域的圖像補(bǔ)全效果，使補(bǔ)全的圖像更加真實(shí)、自然。此外，相對(duì)于傳統(tǒng)的圖像補(bǔ)全方法，基于深度學(xué)習(xí)的圖像補(bǔ)全方法不需要經(jīng)過(guò)復(fù)雜的計(jì)算模擬數(shù)據(jù)分布，提高了圖像補(bǔ)全的效率，是圖像補(bǔ)全技術(shù)里程碑式的發(fā)展。在深度學(xué)習(xí)領(lǐng)域，生成對(duì)抗網(wǎng)絡(luò)（GenerateAdversarialNetwork,GAN）（Goodfellowetal.,2014）是被用于圖像生成的最常見的一種網(wǎng)絡(luò)結(jié)構(gòu)。GAN中的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)通過(guò)對(duì)抗訓(xùn)練可以生成清晰且合理的紋理內(nèi)容（Pathaketal.,2016;Yehetal.,2016;Yangetal.,2017）。最早提出將GAN應(yīng)用于圖像補(bǔ)全的是Pathak等人（Pathaketal.,2016），通過(guò)將編碼器-解碼器結(jié)構(gòu)（encoder-decoder）與GAN相結(jié)合，進(jìn)行無(wú)監(jiān)督訓(xùn)練，結(jié)合L2損失和對(duì)抗損失，得到編碼器-解碼器卷積神經(jīng)網(wǎng)絡(luò)模型。該模型的生成速度很快，只需要一次前向傳播，但是由于該網(wǎng)絡(luò)模型中的全連接層不能保存精確的空間信息，會(huì)使得生成的缺失區(qū)域周圍出現(xiàn)可見的偽影，如圖2.3所示。對(duì)此，研究者在Pathak等人的基礎(chǔ)上又做出了一系列改進(jìn)，如Li等（Lietal.,2018）提出的上下文感知語(yǔ)義補(bǔ)全方法，Yang（Yangetal.,2017）等人提出的基于圖像內(nèi)容和紋理約束的圖像補(bǔ)全方法等。目前，圖像補(bǔ)全方法已經(jīng)取得了很顯著的成果，但是針對(duì)大面積和位于邊緣位置的缺失區(qū)域的圖像補(bǔ)全，還存在很多弊端。本文就是在已有的工作的基礎(chǔ)上針對(duì)大面積缺失區(qū)域和邊緣缺失區(qū)域的圖像補(bǔ)全做出了改進(jìn)。圖2.3Pathak方法的補(bǔ)全結(jié)果Figure2.3CompletionresultsofPathak’smethod

程中網(wǎng)絡(luò)任意一層數(shù)據(jù)進(jìn)行歸一化處理，克服了數(shù)據(jù)分布不同的問(wèn)題，加快了訓(xùn)練的收斂速度，防止了梯度彌散而導(dǎo)致的模型不可用等問(wèn)題。再者就是用反卷積層（Zeileretal.,2011）代替全連接層，加快了網(wǎng)絡(luò)的訓(xùn)練速度，并且使得網(wǎng)絡(luò)的輸入可以是任意尺寸。最后就是使用了不同的激活函數(shù)，DCGAN中生成網(wǎng)絡(luò)使用ReLU激活函數(shù)（Nairetal.,2010），通過(guò)使用有界激活函數(shù)，使得生成網(wǎng)絡(luò)的學(xué)習(xí)很快收斂，并適應(yīng)顏色空間；判別網(wǎng)絡(luò)的激活函數(shù)leakyReLU（Xuetal.,2018），可以使判別網(wǎng)絡(luò)的分辨能力更準(zhǔn)確，尤其是對(duì)于高分辨率圖像。圖2.6DCGAN的網(wǎng)絡(luò)結(jié)構(gòu)模型圖Figure2.6NetworkstructuremodelofDCGANDCGAN是GAN的一個(gè)里程碑式的發(fā)展，在圖像生成任務(wù)方面取得了非常好的效果，此后GAN的各種衍生模型也都以DCGAN模型為標(biāo)準(zhǔn)。2.2.6Wasserstein生成對(duì)抗網(wǎng)絡(luò)在WGAN之前，有研究者指出原始GAN訓(xùn)練過(guò)程中在保持判別網(wǎng)絡(luò)最優(yōu)的前提下，存在兩大問(wèn)題。第一個(gè)問(wèn)題是當(dāng)判別網(wǎng)絡(luò)最優(yōu)時(shí)，訓(xùn)練的目的等價(jià)于不斷地將生成樣本與真實(shí)樣本分布之間的JS散度(Jensen-Shannondivergence，即交叉熵)最小化，但是生成網(wǎng)絡(luò)在生成數(shù)據(jù)的過(guò)程中首先是從某個(gè)低維進(jìn)行采樣，然后將得到的向量經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)后擴(kuò)充到高維空間，但是由于生成網(wǎng)絡(luò)的參數(shù)是固定的，生成的數(shù)據(jù)一般與真實(shí)數(shù)據(jù)的維度相差較大，無(wú)法填滿整個(gè)空間，從而導(dǎo)致生成數(shù)據(jù)和真實(shí)數(shù)據(jù)


本文編號(hào)：3471374