【摘要】：深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)難以針對(duì)性地分析圖像的特定區(qū)域及其相互關(guān)系.文中將深度特征與人工設(shè)計(jì)的特征進(jìn)行互補(bǔ)結(jié)合,提出對(duì)圖像美學(xué)質(zhì)量評(píng)分的方法.首先確定并抽取對(duì)美感起主導(dǎo)作用的特定區(qū)域,針對(duì)該區(qū)域及其與其它區(qū)域的關(guān)系,選擇和設(shè)計(jì)5組美學(xué)相關(guān)的人工特征,特別是提出線條角度特征和清晰度對(duì)比特征.基于Siamese網(wǎng)絡(luò)結(jié)構(gòu)獲取深度特征.選用支持向量回歸(SVR)對(duì)上述兩類特征進(jìn)行回歸預(yù)測,并設(shè)計(jì)基于spearman秩相關(guān)系數(shù)的權(quán)值調(diào)節(jié)最終的分?jǐn)?shù).實(shí)驗(yàn)表明,文中方法效果較優(yōu),與圖像美學(xué)質(zhì)量的主觀評(píng)價(jià)具有較好的一致性.
【圖文】：

構(gòu)的圖像美學(xué)排名網(wǎng)絡(luò)(PhotoAestheticsＲankingNetwork，PAＲN)，不僅考慮圖像的類別和風(fēng)格屬性，還考慮圖像對(duì)之間美學(xué)質(zhì)量的相對(duì)排名．相比現(xiàn)有其它圖像美學(xué)質(zhì)量評(píng)估網(wǎng)絡(luò)，結(jié)構(gòu)更簡單，目前效果更優(yōu)．因此，本文采用PAＲN網(wǎng)絡(luò)獲取圖像的深度特征．AlexNet網(wǎng)絡(luò)結(jié)構(gòu)［13］是目前圖像分類任務(wù)模型中較簡潔的一種網(wǎng)絡(luò)結(jié)構(gòu)，研究表明［2，8］，該網(wǎng)絡(luò)在圖像美學(xué)質(zhì)量評(píng)估領(lǐng)域取得良好效果，因此Kong等［12］將已在ImageNet數(shù)據(jù)庫上訓(xùn)練好的AlexNet網(wǎng)絡(luò)作為后續(xù)任務(wù)的基礎(chǔ)．AlexNet網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖1所示．圖1AlexNet網(wǎng)絡(luò)結(jié)構(gòu)Fig．1StructureofAlexNet為了提高模型性能，PAＲN網(wǎng)絡(luò)不僅考慮圖像的風(fēng)格和類別屬性，還考慮圖像對(duì)之間的美學(xué)質(zhì)量排名．因此，PAＲN網(wǎng)絡(luò)在AlexNet網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上進(jìn)行適應(yīng)性的擴(kuò)展．AlexNet網(wǎng)絡(luò)輸出是分類標(biāo)簽值，為滿足圖像美學(xué)質(zhì)量排名的需求，將AlexNet網(wǎng)絡(luò)中softmax層的損失函數(shù)使用歐氏距離代替，記作lossreg:lossreg=12N∑Ni=1^yi－yi22，(1)其中，N表示訓(xùn)練集圖片數(shù)量，，yi表示第i幅圖像的真實(shí)評(píng)分，^yi表示模型的輸出評(píng)分．當(dāng)2幅圖像的美學(xué)質(zhì)量分?jǐn)?shù)相近時(shí)，極小化式(1)可能會(huì)造成結(jié)果相對(duì)排名錯(cuò)序．而在實(shí)際應(yīng)用中，人們更希望得到對(duì)圖像美學(xué)質(zhì)量正確的排名．為了保證真實(shí)美學(xué)評(píng)分的排名與預(yù)測美學(xué)評(píng)分的排名一致，PAＲN網(wǎng)絡(luò)中引入Siamese網(wǎng)絡(luò)結(jié)構(gòu)組織兩路AlexNet網(wǎng)絡(luò)．Siamese網(wǎng)絡(luò)結(jié)構(gòu)是由2個(gè)完全相同的CNN和1個(gè)代價(jià)函數(shù)構(gòu)成，2個(gè)CNN共享同一組參數(shù)．網(wǎng)絡(luò)輸入1對(duì)圖像I1和I2，I1、I2表達(dá)i，j分別從2個(gè)AlexNet網(wǎng)絡(luò)輸入得到2個(gè)輸出，根據(jù)2幅圖像的美學(xué)評(píng)分計(jì)算排名損失函數(shù)lossrank:lossrank=12N∑

圖2PAＲN網(wǎng)絡(luò)結(jié)構(gòu)Fig．2StructureofPAＲN2人工特征設(shè)計(jì)本文人工提取的美學(xué)特征如表1所示，其中*為本文設(shè)計(jì)的特征．表1本文選用和設(shè)計(jì)的人工特征Table1Handcraftedfeaturesusedanddesignedinthispaper美學(xué)特征描述顯著區(qū)彩度對(duì)比特征［14］f1～f6f1～f3為顯著區(qū)域色調(diào)、飽和度和亮度的平均值;f4～f6為顯著區(qū)域和背景區(qū)域之間平均色調(diào)、平均飽和度及平均亮度的差的平方顯著區(qū)布局特征［14］f7～f15將整幅圖像平分為9塊，計(jì)算每塊中顯著區(qū)域像素的占比人臉區(qū)域特征［7］f16～f18分別計(jì)算人臉區(qū)域的亮度平均值、人臉區(qū)域與背景區(qū)域亮度之差及人臉區(qū)域的占比線條角度特征*f19～f36統(tǒng)計(jì)圖像中線條的角度顯著區(qū)清晰度對(duì)比特征*f37～f38量化圖像顯著區(qū)域和背景區(qū)域的清晰度指標(biāo)PAＲN網(wǎng)絡(luò)對(duì)輸入圖像尺寸大小有要求，圖像經(jīng)過裁剪、填充、變形等操作再進(jìn)行特征提取，都會(huì)影響圖像的構(gòu)圖布局和最終評(píng)估結(jié)果的準(zhǔn)確性．除此之外，PAＲN網(wǎng)絡(luò)輸入都是整幅圖像，并不關(guān)注圖像的美感主導(dǎo)區(qū)域，更忽視該區(qū)域與背景之間關(guān)系對(duì)圖像美學(xué)質(zhì)量的影響．因此，本節(jié)從這2個(gè)角度出發(fā)，提取圖像的美感主導(dǎo)區(qū)域，人工設(shè)計(jì)一系列美學(xué)特征，補(bǔ)充深度特征．2．1美感主導(dǎo)區(qū)域的選擇和提取人們在評(píng)估1幅圖像的美學(xué)質(zhì)量時(shí)，通常會(huì)關(guān)注一些特定區(qū)域的特性．這些區(qū)域?qū)D像主題的表達(dá)和審美的感知起著決定性的作用，主導(dǎo)圖像本身的美感．為了獲得對(duì)圖像美學(xué)屬性更全面的描述，選取對(duì)圖像美感起主導(dǎo)作用的區(qū)域．由于人類視覺系統(tǒng)和注意力機(jī)制的共性，人們在觀察一幅圖像時(shí)，常會(huì)被圖像的顯著區(qū)域吸引．顯著區(qū)域包含最能引起用戶興趣、最能表現(xiàn)圖像內(nèi)容的信息．這些信息在很?


本文編號(hào)：2564706