隨著互聯(lián)網(wǎng)存儲水平的提高和智能設(shè)備的普及,越來越多的人們習(xí)慣用拍照來記錄自己的生活,每天都會有大量的圖像通過智能手機,PC機等智能設(shè)備產(chǎn)生并在互聯(lián)網(wǎng)上共享,圖像數(shù)據(jù)出現(xiàn)了爆炸式的增長。計算機理解圖像,對圖像進(jìn)行標(biāo)注,可以方便管理平臺對圖片進(jìn)行分類,也可幫助用戶快速準(zhǔn)確地檢索圖像,對有效地整合網(wǎng)絡(luò)上龐大的圖片資源有著重要的意義。傳統(tǒng)的圖像理解關(guān)注的是較為低層次的視覺特征,如色彩特征、紋理特征以及形狀特征等。近年來,隨著計算機運算能力的重大飛躍,深度學(xué)習(xí)得到了快速發(fā)展,網(wǎng)絡(luò)上結(jié)合視覺信息與自然語言的數(shù)據(jù)也為深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)提供了數(shù)據(jù)需求,基于深度學(xué)習(xí)實現(xiàn)圖像描述自動生成成為了計算機圖像理解的前沿和熱點。本文對基于深度學(xué)習(xí)的圖像描述自動生成進(jìn)行了深入研究,設(shè)計了端到端的圖像描述生成模型。基于深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像語義特征,分別用深度可分離卷積神經(jīng)網(wǎng)絡(luò)和標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征,用特征金字塔網(wǎng)絡(luò)進(jìn)行特征融合,用長短期記憶神經(jīng)網(wǎng)絡(luò)將語義特征轉(zhuǎn)換為自然語言,設(shè)計并構(gòu)建了端到端的圖像描述自動生成模型（Feature pyramid networks-Neural Image Caption,F... 

【文章來源】：深圳大學(xué)廣東省

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【部分圖文】：

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

基于深度學(xué)習(xí)的圖像描述自動生成的研究9的記憶，在處理序列類數(shù)據(jù)流上有比卷積神經(jīng)網(wǎng)絡(luò)更好的效果。循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖2-2所示。圖2-2循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)從圖2-2可以看出，循環(huán)神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層和輸出層組成。x是輸入層，輸入需要處理的數(shù)據(jù)。s是隱含層，里面有多個神經(jīng)元，用來提取輸入數(shù)據(jù)的特征。o是輸出層，輸出對數(shù)據(jù)處理后的結(jié)果。U,V分別表示輸入層到隱含層，隱含層到輸出層的權(quán)重矩陣。W表示上一時刻隱含層保留的信息輸入當(dāng)前時刻隱含層的權(quán)重。循環(huán)神經(jīng)網(wǎng)絡(luò)與普通神經(jīng)網(wǎng)絡(luò)的不同之處在于它不是孤立的去處理一個數(shù)據(jù)的，而是結(jié)合之前的信息進(jìn)行預(yù)測，所以隱含層s處理當(dāng)前時刻數(shù)據(jù)時，需要結(jié)合上一時刻隱含層的保留信息。由于序列數(shù)據(jù)是在不同的時刻輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中，可對圖2-2的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行展開，得到圖2-3所示的網(wǎng)絡(luò)結(jié)構(gòu)。圖2-3展開后的循環(huán)神經(jīng)網(wǎng)絡(luò)從圖2-3中可以看出循環(huán)神經(jīng)網(wǎng)絡(luò)每個時刻的輸出是由當(dāng)前時刻的輸入信息與前一時刻保存的信息共同決定的，計算公式如下：

基于深度學(xué)習(xí)的圖像描述自動生成的研究9的記憶，在處理序列類數(shù)據(jù)流上有比卷積神經(jīng)網(wǎng)絡(luò)更好的效果。循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖2-2所示。圖2-2循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)從圖2-2可以看出，循環(huán)神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層和輸出層組成。x是輸入層，輸入需要處理的數(shù)據(jù)。s是隱含層，里面有多個神經(jīng)元，用來提取輸入數(shù)據(jù)的特征。o是輸出層，輸出對數(shù)據(jù)處理后的結(jié)果。U,V分別表示輸入層到隱含層，隱含層到輸出層的權(quán)重矩陣。W表示上一時刻隱含層保留的信息輸入當(dāng)前時刻隱含層的權(quán)重。循環(huán)神經(jīng)網(wǎng)絡(luò)與普通神經(jīng)網(wǎng)絡(luò)的不同之處在于它不是孤立的去處理一個數(shù)據(jù)的，而是結(jié)合之前的信息進(jìn)行預(yù)測，所以隱含層s處理當(dāng)前時刻數(shù)據(jù)時，需要結(jié)合上一時刻隱含層的保留信息。由于序列數(shù)據(jù)是在不同的時刻輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中，可對圖2-2的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行展開，得到圖2-3所示的網(wǎng)絡(luò)結(jié)構(gòu)。圖2-3展開后的循環(huán)神經(jīng)網(wǎng)絡(luò)從圖2-3中可以看出循環(huán)神經(jīng)網(wǎng)絡(luò)每個時刻的輸出是由當(dāng)前時刻的輸入信息與前一時刻保存的信息共同決定的，計算公式如下：


本文編號：3357410