【摘要】：美是人類感知、認(rèn)知和情感相互作用的結(jié)果。在計算機(jī)領(lǐng)域,圖像美學(xué)質(zhì)量評估的目的是讓計算機(jī)能夠模擬人類的審美系統(tǒng),自動對圖像的美感進(jìn)行判別。研究人員通常將其轉(zhuǎn)化為一個機(jī)器學(xué)習(xí)問題,即讓模型在人類標(biāo)注的數(shù)據(jù)上進(jìn)行訓(xùn)練,學(xué)習(xí)如何預(yù)測圖像的美學(xué)等級。而學(xué)習(xí)到的模型能在很多勞動力密集的主觀任務(wù)中發(fā)揮作用,如智能照片編輯、圖像推薦或搜索、海報橫幅生成,其應(yīng)用前景十分廣泛。目前,基于大規(guī)模數(shù)據(jù)訓(xùn)練的深度卷積模型在可計算美學(xué)評估中被廣泛使用,但是仍然存在兩個難題:包括如何處理CNN的識別機(jī)制與人類審美感知識別機(jī)制之間的差異性,以及如何從大量數(shù)據(jù)中學(xué)習(xí)到更好的美學(xué)規(guī)則。本文主要通過研究將人類視覺感知和數(shù)據(jù)緊湊表達(dá)的知識應(yīng)用于基于深度卷積網(wǎng)絡(luò)的美學(xué)質(zhì)量評估任務(wù),以提升美學(xué)評估模型的性能,主要工作如下:1)提出了一種基于視覺感知的雙層神經(jīng)網(wǎng)絡(luò)(Visual Perception Network),用于啟發(fā)性地學(xué)習(xí)圖像中與視覺感知相關(guān)的特征。該網(wǎng)絡(luò)包含兩個子網(wǎng)絡(luò),感興趣區(qū)域子網(wǎng)絡(luò)和多尺度信息子網(wǎng)絡(luò),分別用于學(xué)習(xí)圖像中的感興趣區(qū)域特征和多層次細(xì)粒度特征。另外,為了學(xué)習(xí)到圖像中的感興趣區(qū)域,我們還提出一種新穎的感興趣區(qū)域搜索算法,用于搜索出圖像中吸引力強(qiáng)的局部區(qū)域。實驗結(jié)果表明,該算法能夠有效地融合圖像中不同層次的信息,獲得較好的效果。2)設(shè)計了一種基于數(shù)據(jù)緊湊表達(dá)的訓(xùn)練策略。該策略關(guān)注于美學(xué)數(shù)據(jù)的有效利用問題,分階段利用聚合程度不同的圖像,學(xué)習(xí)簡單到復(fù)雜的美學(xué)規(guī)則。該策略先計算數(shù)據(jù)集中圖像的局部密度和距離,將數(shù)據(jù)集分為三個聚合程度不同的子集,緊湊的、稀疏的、高度稀疏的。接著從緊湊的數(shù)據(jù)開始訓(xùn)練,逐步加入稀疏的數(shù)據(jù),以一種從緊湊到稀疏(Compact-to-Sparse)的方式逐步訓(xùn)練。實驗結(jié)果表明,這種學(xué)習(xí)方式不僅能夠有效地提高模型的泛化性能,而且可以學(xué)習(xí)到數(shù)據(jù)集中樣本的聚合程度。本文設(shè)計的算法是在深度卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,結(jié)合人類視覺感知的知識,從網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練數(shù)據(jù)、訓(xùn)練策略三方面對CNN進(jìn)行改進(jìn)。實驗結(jié)果表明,在大規(guī)模美學(xué)數(shù)據(jù)集AVA上,我們的算法能達(dá)到較為領(lǐng)先的水平。
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP391.41
【圖文】：

可計算美學(xué)評估的整體框架如圖所示，該框架包含四個基本要素，分別是輸入處理、美學(xué)特征提取、決策判別和輸出量化美學(xué)等級或美學(xué)分?jǐn)?shù)。美學(xué)質(zhì)量評估從一般機(jī)器學(xué)習(xí)算法流程，分為訓(xùn)練和推理兩個階段，是一種基于學(xué)習(xí)的算法。為了得到性能優(yōu)越的美學(xué)模型，美學(xué)特征設(shè)計是其中最關(guān)鍵的環(huán)節(jié)，無論在手階段還是通用特征階段，抽象的接近人類感知的高級特征的表現(xiàn)，都優(yōu)于底層的覺特征。另外，美學(xué)問題雖然有其特殊性，但是美學(xué)模型的獲取仍然是建立機(jī)器法基礎(chǔ)上的，因而也會面臨機(jī)器學(xué)習(xí)算法的一些常見問題，如過擬合和優(yōu)化困難決這些問題也能夠獲得模型性能的提升。

像美學(xué)分?jǐn)?shù)的相對客觀性。 內(nèi)容多樣性豐富：數(shù)據(jù)集中圖片包括各類動植物、自然景觀、人文景觀和數(shù)字圖像。圖2-2中展示了 AVA 數(shù)據(jù)集中的部分圖片。(a) (b)圖 2-2 圖 (a) 低美感圖像顏色混亂，構(gòu)圖不規(guī)整，主體不顯著，圖 (b) 高美感圖片通常遵循色彩平衡、高景深、主體突出。圖 123 行：顏色、構(gòu)圖、主體。2.2.3 評估指標(biāo)如 1.2 節(jié)中所述，不同的文獻(xiàn)中使用不同的美學(xué)量化指標(biāo)來評價模型的性能，這主要取決于算法的應(yīng)用場景，常用的評估指標(biāo)有以下幾個：(1) 分類準(zhǔn)確度指標(biāo)[1,15,16,26,27](2)回歸精度指標(biāo)[26

涉及到誤差的反向傳播算法。在反向傳播時，網(wǎng)絡(luò)中的每一層都接受后一層返回的梯度張量輸入，并通過計算產(chǎn)生本層的梯度張量輸出，直至輸入層。在訓(xùn)練結(jié)束后，網(wǎng)絡(luò)中的參數(shù)已經(jīng)固定了，可以得到一個可用于美學(xué)量化評估的模型。圖2-3展示了一個完整的 CNN 結(jié)構(gòu)。圖 2-3 一個典型的 CNN 結(jié)構(gòu)。該結(jié)構(gòu)前半部分為特征提取器，后半部分為分類器，網(wǎng)絡(luò)的輸出結(jié)果為預(yù)測輸入圖像屬于的各類別概率。2.3.2 CNN 的特征提取單元CNN 的特征提取工作主要是依靠卷積層、池化層和激活層共同完成的。其中卷積層是 CNN 中的核心組件，大部分的計算量來源于卷積層，在 CNN 中擔(dān)任著特征提取14

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 賈麗娟;;關(guān)于圖像分辨率的教學(xué)思考[J];印刷世界;2011年05期

2 丁曉蓮;周激流;李曉華;吳朋;;人臉識別率與圖像分辨率關(guān)系的比較分析[J];計算機(jī)工程;2009年11期

3 張秀屏，劉錫國，叢玉良;提高彩電圖像分辨率的研討[J];光學(xué)精密工程;1994年02期

4 衛(wèi)紅;為DVD機(jī)配哪種彩電[J];家庭科技;2000年07期

5 卜麗靜;張銘娟;陳方惠;許崢輝;趙曉宇;;利用地面靶標(biāo)的超分辨率重建圖像分辨率評價[J];測繪科學(xué);2019年12期

6 ;斯波特5衛(wèi)星商業(yè)圖像分辨率將達(dá)2.5m[J];國際太空;1997年05期

7 宋其華;郭根生;;解析計算機(jī)圖像分辨率[J];中國電化教育;2003年11期

8 谷梗;;數(shù)字圖像分辨率定義與其計量方法——對“數(shù)字電影技術(shù)術(shù)語普及讀本”有關(guān)條目的商榷意見[J];現(xiàn)代電影技術(shù);2013年07期

9 ;教你詳細(xì)了解各種分辨率[J];計算機(jī)與網(wǎng)絡(luò);2011年24期

10 謝美華;王正明;;圖像分辨率增強(qiáng)的偏微分方程方法[J];遙感學(xué)報;2005年06期

相關(guān)會議論文 前10條

1 楊德強(qiáng);蘇光大;徐天偉;;一種基于幻想臉的人臉圖像分辨率提升新技術(shù)[A];第二十七屆中國控制會議論文集[C];2008年

2 翟廣濤;;基于二進(jìn)小波變換的圖像分辨率增強(qiáng)算法[A];2003年中國智能自動化會議論文集（下冊）[C];2003年

3 任曉暉;龔勇清;;體全息存儲再現(xiàn)圖像分辨率實驗研究[A];第十一屆全國光學(xué)測試學(xué)術(shù)討論會論文（摘要集）[C];2006年

4 陳樂;強(qiáng)天鵬;章有為;;小徑管CR射線檢測圖像分辨率研究[A];2017遠(yuǎn)東無損檢測新技術(shù)論壇論文集[C];2017年

5 趙源萌;鄧朝;張馨;張存林;;被動式人體太赫茲安檢成像的分辨率增強(qiáng)算法研究[A];中國光學(xué)學(xué)會2011年學(xué)術(shù)大會摘要集[C];2011年

6 張月婷;仇曉蘭;丁赤飚;雷斌;付琨;;高分辨率SAR圖像橋梁目標(biāo)仿真與特性分析[A];第三屆高分辨率對地觀測學(xué)術(shù)年會（地面系統(tǒng)與應(yīng)用技術(shù)分會）優(yōu)秀論文集[C];2014年

7 張龍;張翔;孟新秀;;基于圖像的艦船目標(biāo)識別技術(shù)研究[A];2019年全國公共安全通信學(xué)術(shù)研討會優(yōu)秀論文集[C];2019年

8 鄭虹;曾坤;郭迪;應(yīng)佳熙;楊鈺;彭璽;陳忠;屈小波;;基于梯度引導(dǎo)的邊緣增強(qiáng)多對比度腦部MRI圖像超分辨[A];2018第二十屆全國波譜學(xué)學(xué)術(shù)年會會議論文摘要集[C];2018年

9 吳明曉;張晶;;基于深度學(xué)習(xí)的頸動脈超聲圖像斑塊識別方法[A];中國醫(yī)學(xué)裝備大會暨2019醫(yī)學(xué)裝備展覽會論文匯編[C];2019年

10 蔡世學(xué);;最新研制的一種小型空載圖象雷達(dá)成果[A];第十三屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2001年

相關(guān)重要報紙文章 前10條

1 記者 劉霞;迄今最詳細(xì)人腦圖像“出爐”[N];科技日報;2019年

2 記者 劉海英;商用打印機(jī)印制出隱形圖像[N];科技日報;2016年

3 尹長城 北京大學(xué)醫(yī)學(xué)部生物物理學(xué)系教授 分析中心電鏡室主任 中國生物物理學(xué)會冷凍電鏡分會副理事長 中國電子顯微學(xué)會低溫電鏡專業(yè)委員會主任;獲諾獎的冷凍電鏡是何方“神器”？[N];北京科技報;2017年

4 劉筱霞;陳永常;PHOTOSHOP中圖像分辨率的設(shè)置[N];中國包裝報;2002年

5 WLF;細(xì)說分辨率[N];電腦報;2003年

6 記者 曾遺榮邋通訊員 冷承秋 實習(xí)生 向哲林;美國一高科技公司將落戶武漢[N];湖北日報;2007年

7 金鳳;無需眼鏡就能看 能聽還能“摸”的3D影像來了[N];科技日報;2019年

8 燕蘭;先科電子：為品牌DVD正名[N];中國經(jīng)營報;2000年

9 宋連黨;家庭VCD像冊大制作[N];中國電腦教育報;2003年

10 ;第四代超級CCD的實力[N];計算機(jī)世界;2004年

相關(guān)博士學(xué)位論文 前10條

1 樊春玲;數(shù)據(jù)驅(qū)動的圖像感知和質(zhì)量評價方法[D];中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院);2019年

2 卞春江;光學(xué)遙感圖像有效區(qū)域在軌實時檢測與壓縮技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2018年

3 牛仁杰;星載ATP圖像處理平臺關(guān)鍵技術(shù)研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院光電技術(shù)研究所);2018年

4 穆楠;夜間場景下顯著目標(biāo)檢測方法研究[D];武漢科技大學(xué);2019年

5 張士杰;超像素級圖像組協(xié)同關(guān)聯(lián)性分析與研究[D];天津大學(xué);2017年

6 王文勝;寬幅光學(xué)遙感圖像艦船飛機(jī)目標(biāo)檢測識別技術(shù)研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所);2018年

7 孫琨;圖像匹配與場景三維重建方法研究[D];華中科技大學(xué);2017年

8 霍麗娜;基于視覺感知與注意機(jī)制的圖像顯著目標(biāo)檢測[D];西安電子科技大學(xué);2016年

9 王體春;基于保真性準(zhǔn)則的圖像智能增強(qiáng)和圖像質(zhì)量評價的理論和方法[D];重慶醫(yī)科大學(xué);2018年

10 湯楊;基于圖像繪制的Image Warping理論與方法研究[D];南京理工大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 秦靖翔;星載SAR圖像艦船檢測算法研究[D];電子科技大學(xué);2019年

2 韋永來;基于攝像機(jī)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的行人再識別研究[D];合肥工業(yè)大學(xué);2019年

3 張明蕊;SAR圖像數(shù)據(jù)分集與擴(kuò)容方法研究[D];電子科技大學(xué);2019年

4 辛佳佳;基于DSP的同時偏振圖像去霧系統(tǒng)設(shè)計[D];長春理工大學(xué);2019年

5 閆峰;基于優(yōu)化極限學(xué)習(xí)機(jī)算法對焊點的質(zhì)量識別[D];云南大學(xué);2018年

6 林思哲;基于自底向上的視覺顯著性檢測模型研究[D];電子科技大學(xué);2019年

7 張大偉;基于GAN的人臉圖像補全算法研究[D];長安大學(xué);2019年

8 唐義Z

本文編號：2782988