圖像描述即向計(jì)算機(jī)輸入圖片,計(jì)算機(jī)生成對(duì)應(yīng)描述圖片內(nèi)容的文本句子的過程。圖像描述在現(xiàn)實(shí)中有著廣泛的應(yīng)用,例如航天、教育、自動(dòng)駕駛、商品自動(dòng)標(biāo)注和搜索引擎等。因此圖像描述的研究有著廣泛而深遠(yuǎn)的意義�；谧⒁饬C(jī)制的方法是圖像描述領(lǐng)域廣泛應(yīng)用�；谧⒁饬Φ膱D像描述方法,具有容易訓(xùn)練、參數(shù)量少、自動(dòng)化運(yùn)行、準(zhǔn)確率高且特征豐富等優(yōu)點(diǎn)。然而圖像描述注意力機(jī)制方法存在著圖像關(guān)聯(lián)性特征較弱、提取特征淺顯和文本與圖像關(guān)聯(lián)較弱等缺點(diǎn)。這些因素影響著模型的輸出精度。論文從這幾個(gè)方面進(jìn)行改進(jìn),提升圖像描述的預(yù)測(cè)精度。(1)針對(duì)注意力模型中特征關(guān)聯(lián)性較弱,無法有效結(jié)合圖像文本特征的缺點(diǎn),本論文提出特征選擇網(wǎng)絡(luò)模型。特征選擇網(wǎng)絡(luò)模型在較低層次的特征圖上添加掩膜進(jìn)行篩選,有效地克服了特征之間關(guān)聯(lián)性較弱的缺點(diǎn)。實(shí)驗(yàn)結(jié)果表明,使用特征選擇網(wǎng)絡(luò)模型,經(jīng)過約30h的訓(xùn)練,模型預(yù)測(cè)速度大約75幀/s,模型精度在原來基礎(chǔ)上提升0.1。(2)針對(duì)注意力模型提取特征淺顯的問題,論文提出對(duì)象注意力模型。論文將激活函數(shù)與分類特征的乘積作為掩膜,并將掩膜與分類特征相乘,從而構(gòu)成對(duì)象注意力模型。它有效地克服了注意力模型提取特征淺顯的問題...

【文章頁數(shù)】：48 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1圖像描述基礎(chǔ)結(jié)構(gòu)

在訓(xùn)練時(shí)候,(S,I)是一組輸入對(duì),模型的目標(biāo)是使用隨機(jī)梯度下降的方法使得所有訓(xùn)練集的輸入概率的log取值之和達(dá)到最大。經(jīng)典描述[37]模型如圖2-1所示。LSTM模型、CNN預(yù)訓(xùn)練模型和詞嵌入模型構(gòu)成了圖像描述。彩色框是預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò),它不參與訓(xùn)練。圖中未展開的循環(huán)神經(jīng)網(wǎng)絡(luò)部....

圖3-1門控神經(jīng)網(wǎng)絡(luò)流程

其中X∈RN*M*C表示輸入的特征圖。X,N,M表示維度,C表示通道數(shù)目。W,V表示權(quán)重,其維度W,V∈R(N*M*C)。b和c是偏執(zhí)項(xiàng),且b，c∈Rn。σ是sigmoid激活函數(shù),控制著輸出特征。門控神經(jīng)網(wǎng)絡(luò)如圖3-1所示：圖3-1輸入矩陣E分別與權(quán)重向量W、V相乘,得到處理后....

圖3-2特征選擇網(wǎng)絡(luò)模型

模型將掩膜與特征圖的乘積,送入解碼模塊。這種辦法優(yōu)點(diǎn)是保留了特征的空間位置信息。特征選擇網(wǎng)絡(luò)如圖3-2所示：圖中綠色部分代表輸入原圖像。其經(jīng)過處理,送到已經(jīng)在大數(shù)據(jù)集如ImageNet上已經(jīng)訓(xùn)練過的模型,如圖中白色固定層所示。固定層的輸出即為編碼結(jié)果。實(shí)驗(yàn)中保持模型原有權(quán)重不變。....

圖4-1注意力模型

傳統(tǒng)圖像描述注意力模型[22]能夠自動(dòng)學(xué)習(xí)圖像顯著區(qū)域的特征,這類似于對(duì)象檢測(cè)當(dāng)中選擇前景部分區(qū)域的位置,而忽略背景區(qū)域。注意力模型如圖4-1所示：圖中紅黃藍(lán)彩色部分表示圖像不同特征層,其上的每一點(diǎn)在每一個(gè)時(shí)間步都會(huì)輸入注意力模型。這種方法的優(yōu)點(diǎn)是,模型保留了特征之間的相對(duì)關(guān)系,....

本文編號(hào)：3891886