發(fā)布時間：2021-07-06 10:10

　　從自然場景中高效提取感興趣的重要信息是計算機(jī)視覺必須解決的問題,人類視覺系統(tǒng)是借助視覺注意機(jī)制來處理這一問題,其中涉及特征整合、視覺搜索與注意力轉(zhuǎn)移、時空信息整合、局部→整體/整體→局部的整合等人眼感知機(jī)理。人眼不僅能實(shí)現(xiàn)高效環(huán)境整體感知,同時又具備觀測局部精細(xì)特征的能力。人腦中的整體與局部信息的整合機(jī)制尚不清楚,是有待深入探索的問題。為了借鑒人眼的這種感知能力,本文從整體與局部感知及其整合的角度探討了圖像中顯著性物體的檢測問題。（1）基于多級特征融合的整體感知顯著性物體檢測。為了融合底層細(xì)節(jié)特征和高層語義特征來針對顯著性物體檢測的互補(bǔ)性,采用編碼-解碼卷積網(wǎng)絡(luò)作為骨干結(jié)構(gòu),提出了多級特征融合的整體感知模型。編碼器通過逐層卷積將圖片中由局部細(xì)節(jié)到整體粗略的特征提取出來,進(jìn)而由解碼器采取整合操作處理特征,捕捉到顯著性物體在圖像中存在的可能性。整體融合感知圖是通過疊加操作進(jìn)行融合,實(shí)現(xiàn)整體感知顯著性物體檢測。在公開的數(shù)據(jù)中的測試結(jié)果表明,多級特征的融合提升了顯著性物體的檢測準(zhǔn)確率,同時該模型也優(yōu)于其它經(jīng)典的顯著性物體檢測模型。該模型同樣可以用于焦點(diǎn)預(yù)測,測試表明,其性能在SIM、EMD指標(biāo)... 

【文章來源】：湘潭大學(xué)湖南省

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

視覺注意搜索圖[1]

湘潭大學(xué)碩士學(xué)位論文31.2.1視覺焦點(diǎn)預(yù)測圖1-2視覺焦點(diǎn)預(yù)測圖(第一行為原圖，第二行為真實(shí)圖)視覺焦點(diǎn)預(yù)測最早的工作是Langford等人[3]提出的。在最近20年中，涌現(xiàn)了很多關(guān)于視覺焦點(diǎn)預(yù)測的模型，焦點(diǎn)預(yù)測模型也分為自底向上模型[4],[5],[6],[7]、自頂往下模型[8],[9]，以及結(jié)合兩種策略的模型[10],[11]。早期的模型主要利用底層的邊緣、顏色[12]、局部統(tǒng)計特征[13],[14]。但實(shí)際上人眼關(guān)注點(diǎn)大部分時間會聚集在明確結(jié)構(gòu)的目標(biāo)物體周邊，因此如果不能利用高層語義特征，往往難以達(dá)到理想的預(yù)測效果。近年來，隨著深度學(xué)習(xí)模型在視覺注意建模領(lǐng)域的應(yīng)用，出現(xiàn)了很多利用高層語義特征提升預(yù)測性能的工作。最早成功利用深度網(wǎng)絡(luò)的實(shí)現(xiàn)預(yù)測的是eDN模型[15]，它提出了一種能夠自動學(xué)習(xí)用于預(yù)測顯著性的深層表示結(jié)構(gòu)。算法從一類層次化神經(jīng)網(wǎng)絡(luò)序列中(其中每個個體是一個不超過3層的CNN)尋找最佳的深層特征，并將這些特征輸入到SVM中進(jìn)行顯著性預(yù)測。在此基礎(chǔ)上，引出了很多基于深度網(wǎng)絡(luò)的模型。其中Kümmerer的研究團(tuán)隊(duì)在該方向開展了一系列的后續(xù)研究[4],[5],[16],[17]。其較早的工作Deep-GazeI[16]采用了5層AlexNet卷積神經(jīng)網(wǎng)絡(luò)，并利用固定預(yù)測模型中預(yù)先訓(xùn)練了ImagNet數(shù)據(jù)集對象識別的神經(jīng)網(wǎng)絡(luò)模型，最后利用頂層的特征以及對數(shù)似然法生成視覺焦點(diǎn)預(yù)測概率響應(yīng)圖。隨后改進(jìn)的DeepGazeII[4]使用識別性能更好的VGG19網(wǎng)絡(luò)，在SALICON數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并在優(yōu)化對數(shù)似然函數(shù)的概率框架下訓(xùn)練模型，而不是對VGG提取的特征進(jìn)行再訓(xùn)練。為進(jìn)一步提升性能，Deepfix利用多尺度核[6]，而DVA[7]提出基于卷積的跳層網(wǎng)絡(luò)，利用局部響應(yīng)的淺層和整體響應(yīng)的深層相結(jié)合的層次化多級特征，通過反卷積層的使用來提取多尺度信息，提?

跆卣鰲Ｆ渲兇遠(yuǎn)ネ?碌氖泳跆匭鑰梢栽諭?緄?高級語義層學(xué)習(xí)。最后，在邏輯回歸層中對自下而上和自上而下特征進(jìn)行整合。類似的工作還有BorjiA等人[11]提出的整合Bottom-up和Top-down視覺特征的視覺注意預(yù)測方法。本文第3章的工作同樣采用類似于DVA的卷積神經(jīng)網(wǎng)絡(luò)編碼-解碼結(jié)構(gòu)來得到基于自底向上的視覺注意預(yù)測模型，并且綜合利用了多層次特征。但是不同的是，其中淺層網(wǎng)絡(luò)特征側(cè)重用于提取局部顯著性信息，而深層網(wǎng)絡(luò)主要提取的全局顯著性信息。采用多特征融合，能捕捉圖像中的完整的顯著性信息。1.2.2顯著性物體檢測圖1-3顯著性物體檢測圖(第一行為原圖，第二行為真實(shí)圖)顯著性物體檢測目的是將顯著性物體區(qū)域從圖像中突顯并分割出來。不同于視覺焦點(diǎn)預(yù)測，顯著性物體檢測屬于目標(biāo)級視覺應(yīng)用任務(wù)。其也經(jīng)歷了傳統(tǒng)底層特征建模和深度特征學(xué)習(xí)建模兩個階段，其同樣可以采用自底向上和自頂往下兩種建模策略。其早期方法均是基于底層特征或啟發(fā)式先驗(yàn)知識(對比度、背景等)，例如基于對比度分析的模型[18]、基于區(qū)域增強(qiáng)的尺度不變方法[19]、基于亮度和顏色特征的方法[20]、基于一系列新穎特征，包括：多尺度對比、中心環(huán)繞直方圖和顏色空間分布等特征的方法[21]，以及基于區(qū)域?qū)Ρ榷鹊姆椒╗22]。但是這些傳統(tǒng)方法并不太適用于豐富多樣化的場景。2014年之后涌現(xiàn)了許多基于深度神經(jīng)網(wǎng)絡(luò)的方法。其通常表現(xiàn)為如何利用多尺度表示、多層次特征、局部和整體信息、以及不同的網(wǎng)絡(luò)結(jié)構(gòu)以便提升顯著

【參考文獻(xiàn)】：
碩士論文
[1]視覺注意機(jī)制建模中的注意焦點(diǎn)選擇及轉(zhuǎn)移軌跡優(yōu)化設(shè)計[D]. 楊婷.天津大學(xué) 2012



本文編號：3268045