在計(jì)算機(jī)視覺(jué)研究中,圖像識(shí)別是一個(gè)熱門(mén)的研究課題,它的成功離不開(kāi)判別性特征。卷積神經(jīng)網(wǎng)絡(luò),特別是深度卷積神經(jīng)網(wǎng)絡(luò),因其具有強(qiáng)大的非線性表達(dá)能力而在圖像識(shí)別領(lǐng)域中取得了極大的成功。然而,無(wú)論是在大規(guī)模有標(biāo)記訓(xùn)練數(shù)據(jù)集情況下,還是在極少量有標(biāo)記訓(xùn)練樣本情況下,現(xiàn)有方法都沒(méi)有充分挖掘卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性表達(dá)能力,這導(dǎo)致了卷積神經(jīng)網(wǎng)絡(luò)輸出的深度特征判別性較弱,進(jìn)而限制了現(xiàn)有方法的性能。本文致力于增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)判別性,主要工作包括:1.提出了一個(gè)基于錨點(diǎn)類間角度分散和類內(nèi)緊湊的損失函數(shù)�，F(xiàn)有依賴類中心的損失函數(shù)需要在訓(xùn)練過(guò)程中不斷迭代更新類中心,然而,由于計(jì)算資源有限,在每一個(gè)訓(xùn)練迭代步驟中,利用整個(gè)大規(guī)模有標(biāo)記訓(xùn)練數(shù)據(jù)集進(jìn)行類中心的更新通常是不現(xiàn)實(shí)的。本文提出采用錨點(diǎn)取代類中心,這些錨點(diǎn)在訓(xùn)練過(guò)程中固定不變,并被視為類中心,通過(guò)約束卷積神經(jīng)網(wǎng)絡(luò)使得訓(xùn)練樣本盡可能接近它們所對(duì)應(yīng)的錨點(diǎn)即可確保類內(nèi)緊湊。此外,本文還設(shè)計(jì)了兩個(gè)錨點(diǎn)選擇原則來(lái)確保所選擇的錨點(diǎn)盡可能分散,也即確保了類別分布盡可能分散,從而實(shí)現(xiàn)了類間角度可分性。當(dāng)采用標(biāo)準(zhǔn)正交基作為錨點(diǎn)集時(shí),該損失函數(shù)只需一個(gè)簡(jiǎn)單的歸一化操作即可快速... 

【文章來(lái)源】：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所)陜西省

【文章頁(yè)數(shù)】：139 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖像理解研究課題

卷積神經(jīng)網(wǎng)絡(luò)判別性增強(qiáng)研究4另一個(gè)非常重要、但是亟待解決的問(wèn)題。1.3本文工作在1.2節(jié)中，本文提出了兩個(gè)亟待解決的重要問(wèn)題。這兩個(gè)問(wèn)題有一個(gè)共同特性：無(wú)論是在大規(guī)模有標(biāo)記訓(xùn)練數(shù)據(jù)集情況下，還是在極少量有標(biāo)記訓(xùn)練數(shù)據(jù)集情況下，卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征表達(dá)能力都沒(méi)有被充分挖掘，這進(jìn)一步導(dǎo)致了卷積神經(jīng)網(wǎng)絡(luò)輸出的深度特征判別性較弱，進(jìn)而限制了圖像識(shí)別的性能。因此，本文的研究重點(diǎn)是增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)判別性，進(jìn)而提升圖像識(shí)別的性能。本文的邏輯結(jié)構(gòu)圖如圖1.2所示，具體研究?jī)?nèi)容如下。圖1.2本文邏輯結(jié)構(gòu)圖Figure1.2Thelogicalstructurediagramofthisdissertation1）在大規(guī)模有標(biāo)記訓(xùn)練數(shù)據(jù)集情況下，現(xiàn)有基于類中心的損失函數(shù)需要某種形式的類中心更新機(jī)制。由于計(jì)算資源有限，直接在大規(guī)模有標(biāo)記訓(xùn)練數(shù)據(jù)集上更新類中心通常是不現(xiàn)實(shí)的，因而，在一批訓(xùn)練數(shù)據(jù)上（batch）進(jìn)行類中心的更新就成了一個(gè)常用的折中方案。然而，在一批訓(xùn)練數(shù)據(jù)中，屬于某個(gè)特定類別的樣本數(shù)目隨機(jī)，它可以為0到批大�。╞atchsize）之間的任意值，在類中心的更新過(guò)程中，這會(huì)引起類中心的不穩(wěn)定，進(jìn)而導(dǎo)致模型收斂速度較慢甚至不收斂�，F(xiàn)有基于類中心的損失函數(shù)通常會(huì)采用額外的損失函數(shù)進(jìn)行輔助訓(xùn)練來(lái)確保模型的收斂，但是，這不可避免的會(huì)引入額外的超參數(shù)，從而增大了在實(shí)際中應(yīng)用這類損失函數(shù)的難度。為了避免在訓(xùn)練過(guò)程中對(duì)類中心更新機(jī)制的依賴，本文提出了采用固定錨點(diǎn)取代類中心，并在此基礎(chǔ)上設(shè)計(jì)了一個(gè)新的基于錨點(diǎn)類間角度

?圖像識(shí)別方面，它的表現(xiàn)都十分出色，已逐漸成為了圖像識(shí)別領(lǐng)域一個(gè)重要的技術(shù)選擇。2.1.2LeNet早在1998年YannLeCun等人就已經(jīng)提出了圖像識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)LeNet，并將其成功用于手寫(xiě)數(shù)字字符的識(shí)別。在當(dāng)時(shí)的技術(shù)條件下，LeNet就已經(jīng)取得了低于1%的錯(cuò)誤率，并被部署在全美幾乎所有的郵政系統(tǒng)用于識(shí)別手寫(xiě)郵政編碼進(jìn)而分揀郵件和包裹。LeNet的網(wǎng)絡(luò)結(jié)構(gòu)如圖2.1所示，它所采用的以下四個(gè)基本概念：卷積、池化、全連接和通過(guò)反向傳播訓(xùn)練，依然是現(xiàn)代深度卷積神經(jīng)網(wǎng)絡(luò)的核心。這四個(gè)基本概念的詳細(xì)介紹分別如下。圖2.1LeNet網(wǎng)絡(luò)結(jié)構(gòu)[11]Figure2.1ThenetworkstructureofLeNet[11]卷積（convolution）卷積這一概念的提出直接受到了神經(jīng)科學(xué)中簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞這兩個(gè)經(jīng)典概念的啟發(fā)，具體就是視覺(jué)皮層中的LGN-V1-V2-V4-IT層次結(jié)構(gòu)[25][26]，它的基本特性為局部連接、權(quán)值共享。圖像的結(jié)構(gòu)特點(diǎn)可以概括為：局部像素聯(lián)系較為緊密，而距離較遠(yuǎn)像素則相關(guān)性較弱。因此，在識(shí)別圖像過(guò)程中，可首先感知圖像中局部特征，然后在更高層次對(duì)局部特征進(jìn)行綜合，從而得到全局信息。卷積的特性契合圖像結(jié)構(gòu)的特點(diǎn)，因而，卷積操作可以承擔(dān)圖


本文編號(hào)：3465807