發(fā)布時(shí)間：2021-04-09 01:51

　　圖像描述生成的目標(biāo)是對(duì)圖像生成關(guān)于圖像內(nèi)容的連貫流暢的自然語(yǔ)言描述句子,結(jié)合了圖像識(shí)別領(lǐng)域與自然語(yǔ)言處理領(lǐng)域,對(duì)互聯(lián)網(wǎng)中圖像信息的檢索、兒童的早期教育與視障人士的生活輔助等方面有重要的意義�，F(xiàn)有的圖像描述生成模型大多基于深度學(xué)習(xí)編碼-解碼框架,采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為提取圖像特征的編碼器,采用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）作為生成自然語(yǔ)言描述的解碼器。但采用編碼-解碼框架的模型大多存在編碼過(guò)程中CNN提取到的特征圖不足以獲取圖像中所含的大量信息、解碼過(guò)程中圖像信息會(huì)隨著RNN時(shí)間步向前占比越來(lái)越小等問(wèn)題。為了解決上述問(wèn)題,本文在編碼-解碼框架基礎(chǔ)上設(shè)計(jì)了額外的圖像語(yǔ)義網(wǎng)絡(luò),圖像語(yǔ)義網(wǎng)絡(luò)產(chǎn)生的圖像語(yǔ)義層不僅補(bǔ)充了編碼器獲取不充分的圖像信息,還可以在解碼過(guò)程中彌補(bǔ)逐漸彌散的圖像信息;設(shè)計(jì)了語(yǔ)義注意力機(jī)制,使模型能夠在預(yù)測(cè)單詞時(shí)將注意力聚焦到圖像語(yǔ)義層中對(duì)應(yīng)單詞向量。具體工作如下:（1）基于深度學(xué)習(xí)引入圖像語(yǔ)義網(wǎng)絡(luò)的圖像描述生成模型-ESRNN。ESRNN模型基于NIC模型設(shè)計(jì),首先用一個(gè)CNN作為編碼器提取圖像特征,然后根據(jù)訓(xùn)練集已有的圖像描述為每張圖像產(chǎn)生多標(biāo)簽,在基礎(chǔ)模型中加入另一個(gè)CN... 

【文章來(lái)源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：68 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１編碼？解碼框架??Ｆｉｇｕｒｅ?２－１?Ｔｈｅ?ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ?ｆｒｅａｍｗｏｒｋ??

在前向傳播時(shí)，每個(gè)濾波器都在輸入數(shù)據(jù)的高度和寬度上滑動(dòng)，在每個(gè)位置??為整個(gè)濾波器和輸入數(shù)據(jù)計(jì)算內(nèi)積。當(dāng)一組濾波器滑動(dòng)完整個(gè)輸入數(shù)據(jù)后，生成??一個(gè)二維的激活圖（ａｃｔｉｖａｔｉｏｎ?ｍａｐ）作為輸出，卷積操作如圖２－２所示。??激活圖給出了在每個(gè)空間位置處濾波器做出的反應(yīng)。通過(guò)激活圖，濾波器會(huì)??學(xué)習(xí)到當(dāng)它遇到不同圖像特征時(shí)要做出何種激活操作，具體的圖像特征可能是某??個(gè)形狀，某處邊界等。把每個(gè)濾波器產(chǎn)生的激活圖在深度上疊加起來(lái)，獲得輸出??數(shù)據(jù)。??９??

圖２－３池化操作??


本文編號(hào)：3126680