圖像修復(fù)的主要任務(wù)是根據(jù)圖像已知信息來(lái)重建缺失內(nèi)容,使觀察者無(wú)法察覺(jué)到圖像曾經(jīng)被破壞過(guò)。作為計(jì)算機(jī)視覺(jué)研究領(lǐng)域的一項(xiàng)重要內(nèi)容,圖像修復(fù)因其在數(shù)字文化遺產(chǎn)保護(hù),圖片/視頻再編輯,電視/電影后期制作等行業(yè)中具有的重要應(yīng)用價(jià)值而被廣泛關(guān)注。傳統(tǒng)技術(shù)上,依據(jù)圖像像素間的相關(guān)性和內(nèi)容相似性,人們主要采用基于數(shù)學(xué)和物理的方法來(lái)實(shí)現(xiàn)圖像修復(fù)。隨著深度學(xué)習(xí)技術(shù)在學(xué)術(shù)界和工業(yè)界的飛速發(fā)展,尤其是各種生成網(wǎng)絡(luò)的出現(xiàn),利用深度學(xué)習(xí)實(shí)現(xiàn)圖像修復(fù)成為了研究的熱點(diǎn)并取得了眾多突破性的進(jìn)展。圖像作為結(jié)構(gòu)化數(shù)據(jù),必然存在上下文語(yǔ)義,而基于深度模型的圖像修復(fù)被證實(shí)能通過(guò)有效地提取圖像語(yǔ)義特征信息來(lái)生成修復(fù)圖像。具體研究中,如何增強(qiáng)深度模型對(duì)圖像語(yǔ)義特征的表達(dá)能力,以提高修復(fù)圖像的結(jié)構(gòu)連貫性、紋理一致性以及語(yǔ)義完整性是研究的焦點(diǎn)。同時(shí),針對(duì)于隨機(jī)破損圖像的修復(fù),保證修復(fù)質(zhì)量,降低模型復(fù)雜度,提高模型的泛化能力也變得至關(guān)重要�？偟膩�(lái)說(shuō),基于深度模型的語(yǔ)義圖像修復(fù)仍然是一個(gè)十分有挑戰(zhàn)的研究課題。本文針對(duì)現(xiàn)有圖像修復(fù)工作中依然存在的修復(fù)內(nèi)容模糊、語(yǔ)義不明確及深度模型復(fù)雜,模型泛化能力不強(qiáng)等問(wèn)題展開研究。論文的主要工作和創(chuàng)新點(diǎn)如... 

【文章來(lái)源】：合肥工業(yè)大學(xué)安徽省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：88 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖２．１卷積網(wǎng)絡(luò)發(fā)展史??Ｆｉｇ?２．１?Ｈｉｓｔｏｒｙ?ｏｆ?ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｎｅｔｗｏｒｋｓ??卷積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋｓ，簡(jiǎn)稱ＣＮＮｓ）是一類可訓(xùn)練的??

輸出值等于輸入值，并使用反向傳播算法來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。其由兩部分??組成：一個(gè)編碼器和一個(gè)生成重構(gòu)的解碼Ｉ?２００６年，Ｈｉｎｔｏｎ等［６１］對(duì)原型自編??碼器結(jié)構(gòu)進(jìn)行了改進(jìn)，提出了深度Ｓ動(dòng)編碼（ＤＡＥ）網(wǎng)絡(luò)，相對(duì)于原始的自編碼??器加大了深度，提高了學(xué)習(xí)能力，更利于網(wǎng)絡(luò)預(yù)訓(xùn)練。先用無(wú)監(jiān)督逐層貪心訓(xùn)練??算法完成對(duì)隱含層的預(yù)訓(xùn)練，然后用ＢＰ算法對(duì)整個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行系統(tǒng)性參數(shù)優(yōu)??化調(diào)整，有效改善了?ＢＰ算法易陷入局部最小值的不良狀況。??｜ｌｆｌ！??Ｌ１?Ｌ２?Ｌ３?Ｌ４?Ｌ５??圖２．２深度自編碼器網(wǎng)絡(luò)結(jié)構(gòu)圖??Ｆｉｇ?２．２?Ｔｈｅ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ?ｏｆ?ｄｅｅｐ?ａｕｔｏ－ｅｎｃｏｄｅｒ?ｎｅｔｗｏｒｋ??如圖２．２所示為一個(gè)５層的深度自編碼器，隱層節(jié)點(diǎn)從高到低（編碼），再??從低到高（解碼），其中間每一層都本質(zhì)上是原輸入的一個(gè)隱層表示。??２．２．１．３生成對(duì)抗網(wǎng)絡(luò)??生成對(duì)抗網(wǎng)絡(luò)（Ｇｅｎｅｒａｔｉｖｅ?Ａｄｖｅｒｓａｒｉａｌ?Ｎｅｔｗｏｒｋｓ，?ＧＡＮｓ）：最初是由?Ｇｏｏｄｆｅｌｌｏｗ??等［５］在２０１４年提出的一種圖像生成模型，主要靈感來(lái)源于博弈論咿零和博弈的??思想，具體來(lái)說(shuō)就是“通過(guò)：由成網(wǎng)絡(luò)Ｇ?（Ｇｅｎｅｒａｔｏｒ）和判別網(wǎng)絡(luò)Ｄ（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）??不斷博弈，生成器Ｇ用來(lái)捕獲真實(shí)數(shù)據(jù)樣本的潛在分布，通過(guò)隨機(jī)噪聲ｚ生成新的??數(shù)據(jù)樣本Ｇ（ｘ）；判別器Ｚ）是一個(gè)二分類器，判斷輸入是真實(shí)數(shù)據(jù)ｘ還是生成的樣??本，通過(guò)這種對(duì)抗學(xué)習(xí)的方式來(lái)訓(xùn)練整個(gè)模型”。將其用到圖像生成上，則訓(xùn)練??完成后，Ｇ可以從一段隨機(jī)噪聲中生成接近真實(shí)數(shù)據(jù)分布的看似逼真的圖像。??訓(xùn)練過(guò)程中，通過(guò)設(shè)定

Ｇ和Ｄ構(gòu)成了一??個(gè)動(dòng)態(tài)的“博弈過(guò)程”，通過(guò)網(wǎng)絡(luò)對(duì)抗損失函數(shù)來(lái)不斷對(duì)抗訓(xùn)練以達(dá)到最終的平??衡點(diǎn)，其目標(biāo)函數(shù)Ｋ（Ｄ，Ｇ）如式（２－１）所示：??ｍｉｎｍａｘｌ／（Ｚ），Ｇ）?＝?Ｅｘ＾Ｐｄａｔａ（ｘ）［＼ｏｇＤ（ｘ＇）］?＋?Ｅｚ＾Ｐｚ（ｚ）［＼ｏｇ?（１?－Ｄ（Ｇ（ｚ）））］?（２－１）??Ｌｒ?Ｕ??其中，￡■表示分布．函數(shù)的期望僮＾?ｐｄａｔａ（ｘ）代表真實(shí)樣本的分布，ｐｚ（ｚ）為定義在??低維的噪聲分布，通過(guò)網(wǎng)絡(luò)參數(shù)＆的Ｇ映射到高維的數(shù)據(jù)空間得到ＧＡＮ??的計(jì)算流程和結(jié)構(gòu)如圖２．３所示。??對(duì)抗神經(jīng)網(wǎng)絡(luò)采用的是一種無(wú)監(jiān)督的學(xué)習(xí)方式訓(xùn)練，可以被廣泛用在無(wú)監(jiān)督??學(xué)習(xí)和半監(jiān)督領(lǐng)域，比如圖片風(fēng)格迀移，超分辨率，圖像修復(fù)，圖像去噪等ｆｔ．??１〇ＳＳｑ??ｒ?ｒ?＼?ｌ〇ＳＳｐ??隨機(jī)噪聲?？生成器Ｇ?—??ｚ￣Ｐ〇）???？判別器Ｄ?真／偽？）??真實(shí)數(shù)據(jù)??Ｘ?？ｐ（ｘ）??圖２．３?ＧＡＮ的計(jì)算流程和結(jié)構(gòu)圖??Ｆｉｇ?２．３?Ｔｈｅ?ｃａｌｃｕｌａｔｉｏｎ?ｆｌｏｗ?ｃｈａｒｔ?ａｎｄ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ?ｏｆ?ＧＡＮ??２．２．２基于自編碼器的圖像修復(fù)方法??自編碼器是一種無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，在編碼過(guò)程中，將高維的圖像??數(shù)據(jù)進(jìn)行降維編碼，提取圖像的低維特征表達(dá)，再經(jīng)過(guò)解碼過(guò)程還原原始數(shù)據(jù)的??一種學(xué)習(xí)方式。應(yīng)用到圖像修復(fù)中，由編碼解碼過(guò)程修復(fù)出目標(biāo)內(nèi)容，再通過(guò)逐??像素縮小原始圖像與修復(fù)圖像間的像素誤差，逐步優(yōu)化修復(fù)結(jié)果的一種方式。嚴(yán)??格來(lái)說(shuō)，這種方式并不是真正意義上的學(xué)習(xí)重建原始圖像，而是一種在像素級(jí)別??的逼近修復(fù)＊為了能讓修復(fù)圖像在數(shù)據(jù)分布上擬合原始數(shù)據(jù)，人們通常

【參考文獻(xiàn)】：
期刊論文
[1]深度學(xué)習(xí)圖像修復(fù)方法綜述[J]. 強(qiáng)振平,何麗波,陳旭,徐丹.  中國(guó)圖象圖形學(xué)報(bào). 2019(03)



本文編號(hào)：3106319