隨著互聯(lián)網上圖像數(shù)據(jù)的快速增長,如何根據(jù)已知的輸入圖像生成高質量目標圖像以完成圖像轉換和圖像補全任務已成為計算機視覺領域的研究熱點之一。針對這兩種任務,本文提出了基于生成對抗網絡的圖像轉換和圖像補全方法。目前多數(shù)圖像轉換/補全算法都基于卷積神經網絡(Convolutional Neural Networks,CNN)和生成對抗網絡(Generative Adversarial Networks,GAN)。一方面,卷積神經網絡中卷積層和轉置卷積層的組合搭建了從輸入圖像到輸出圖像之間映射的編碼—解碼網絡架構。另一方面,生成對抗網絡除使用這種編碼—解碼網絡架構作為圖像生成網絡之外,還增加了判別網絡以完成對抗訓練�，F(xiàn)有基于GAN的算法在多視角圖像轉換應用場景下,其可擴展性仍需進一步改進。因此本文提出了基于共同編碼信息生成對抗網絡的多視角圖像轉換和補全算法(Mutual Encoding Info-Generative Adversarial Networks,MEIGAN)。算法首先使用多分支且部分網絡層共享參數(shù)的共同自編碼器進行多視角表征學習,這種多分支網絡結構可以適應于不同視角數(shù)目的多視角表征學習,因此擴展性更好。接著使用表征學習的結果作為輸入來完成第二階段基于信息生成對抗網絡的圖像轉換/補全任務。在MNIST數(shù)據(jù)集上對表征的t-SNE可視化和在低維表征空間的插值分析都表明了所學表征的有效性。在MNIST、CelebA數(shù)據(jù)集上的圖像補全任務,和在3D椅子、MVC和CUFS數(shù)據(jù)集上的圖像轉換任務中,與現(xiàn)有最好方法的定性和定量對比都表明了MEIGAN的有效性。已有方法的損失函數(shù)大多使用像素級重構損失,這往往會導致模型傾向于生成模糊的圖像。因此在人臉眼部補全任務中,本文額外考慮了同身份人臉的眼部參考信息,并將動差重構損失和像素級重構損失結合,最終提出基于動差重構損失的模范生成對抗網絡(Exemplar Moment Reconstruction Generative Adversarial Networks,ExMRGAN)。為驗證所提出的ExMRGAN的有效性,我們在Celeb-ID數(shù)據(jù)集上展開人臉眼部補全任務的實驗。與基準模型ExGAN的定量、定性對比結果,以及和商業(yè)圖像編輯軟件Adobe Photoshop Elements 2018的定性對比結果,均表明所提出的ExMRGAN能生成更高質量的人眼補全圖像結果。
【學位單位】：大連理工大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：TP391.41;TP18
【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景
    1.2 研究意義
    1.3 研究現(xiàn)狀
        1.3.1 多視角表征學習研究現(xiàn)狀
        1.3.2 圖像轉換和圖像補全研究現(xiàn)狀
    1.4 本文工作與貢獻
    1.5 本文結構
2 基礎知識與關鍵技術
    2.1 卷積神經網絡
    2.2 生成對抗網絡
    2.3 本章小結
3 基于共同自編碼信息生成對抗網絡的圖像轉換和補全
    3.1 基于共同自編碼器的多視角表征學習方法
        3.1.1 問題描述
        3.1.2 算法描述和損失函數(shù)
        3.1.3 實驗結果與分析
    3.2 基于共同編碼信息生成對抗網絡的圖像轉換及補全算法
        3.2.1 基礎模型:生成對抗網絡
        3.2.2 基礎模型:信息生成對抗網絡
        3.2.3 共同編碼信息生成對抗網絡
        3.2.4 圖像轉換和補全的實驗
        3.2.5 在MNIST數(shù)據(jù)集上的表征插值分析
    3.3 對共享網絡層數(shù)的討論
    3.4 本章小結
4 基于動差重構損失模范生成對抗網絡的人臉眼部補全
    4.1 問題描述及研究目標
    4.2 基礎模型
        4.2.1 模范生成對抗網絡
        4.2.2 動差重構損失
    4.3 基于動差重構損失的模范生成對抗網絡
    4.4 實驗設置與結果
        4.4.1 Celeb-ID數(shù)據(jù)集
        4.4.2 詳細實驗設置和網絡結構
        4.4.3 評測標準
        4.4.4 實驗結果對比
    4.5 本章小結
5 總結與展望
    5.1 總結
    5.2 展望
參考文獻
攻讀碩士學位期間發(fā)表學術論文情況
致謝

【相似文獻】

相關期刊論文 前10條

1 張文;將BMP圖像轉換為PCB文件[J];電子科技;2000年17期

2 郭振海;批量圖像轉換高手[J];家庭電子;2001年06期

3 蔡曉暉;超級圖像轉換工具[J];電腦愛好者;1996年02期

4 賈凌昌;;社會主義核心價值觀大眾傳播的圖像轉換[J];倫理學研究;2016年04期

5 ;Convert It Now——批量圖像轉換能手[J];電子科技;2001年04期

6 張翔;;培養(yǎng)圖像轉換能力 提高地理復習效率[J];商情(教育經濟研究);2008年06期

7 李梅;;24位圖像到8位圖像轉換方案研究[J];才智;2010年05期

8 張帆;杜文風;張皓;;提高拓撲優(yōu)化結構光順度的圖像轉換法[J];河南大學學報(自然科學版);2019年05期

9 范學禎;;YUV圖像轉換為BMP圖像的硬件實現(xiàn)[J];大眾科技;2014年08期

10 DONWILLMOTT ,胡景凡;FreeseFrame:文件轉換的強手[J];個人電腦;1994年01期

相關碩士學位論文 前7條

1 姚瑤;基于生成對抗網絡的圖像轉換方法研究[D];大連理工大學;2019年

2 康文婧;基于生成對抗網絡的多視角表征學習和圖像轉換補全[D];大連理工大學;2019年

3 于靜瑩;面向醫(yī)學圖像轉換的中間件設計[D];東北師范大學;2008年

4 唐繼堯;實用PACS瀏覽器應用系統(tǒng)設計與開發(fā)[D];電子科技大學;2015年

5 黃珺珺;數(shù)字圖像轉換與校正電路設計[D];上海交通大學;2007年

6 王金曌;民國時期基督教藝術形象中國化研究[D];華中師范大學;2015年

7 楊雄;基于openEHR的肝臟CT圖像轉換和分割研究[D];浙江大學;2015年

本文編號：2849296