近年來,深度學習帶動了自然語言處理(NLP)和計算機視覺(CV)的快速發(fā)展。在NLP領(lǐng)域中,一個非常流行的主題是智能問答,它要求機器自動回答自然語言形式的問題。除了傳統(tǒng)的文本智能問答外,有一種提供了多模態(tài)數(shù)據(jù)(例如文字和圖像)的變體,即多模態(tài)智能問答任務(wù)。這項任務(wù)對如何組合多模態(tài)數(shù)據(jù)和進行相應(yīng)的推理策略提出了新的挑戰(zhàn)。本文就研究多模態(tài)智能問答的一個分支,被稱為多模態(tài)機器閱讀理解(MMMC)。MMMC是機器閱讀理解(MRC)的多模態(tài)擴展,MRC要求閱讀和理解一篇文章并根據(jù)文章的內(nèi)容回答問題,而在MMMC中,閱讀背景變成了多模態(tài)形式,比如文本中帶有對應(yīng)的圖片,問題也不僅限于文本,還可以由圖像組成。MMMC存在各種類型的問題,例如完形填空,多項選擇或排序。最近的一個MMMC數(shù)據(jù)集是RecipeQA,并且該數(shù)據(jù)集已經(jīng)發(fā)布了四個不同的MMMC任務(wù)。在本文中,我們對MMMC任務(wù)進行了深入研究,并提出了可以解決多種任務(wù)樣式的新穎的深度學習模型。我們針對RecipeQA的所有四個不同問題形式的子任務(wù)進行了實驗,并獲得了最先進的結(jié)果。由于之前的MRC工作并未引入時序信息,我們提出一種面向時序的深度模型,...

【文章頁數(shù)】：70 頁

【學位級別】：碩士

【部分圖文】：

圖2-1激活函數(shù)sigmoid和tanh的圖像對比

第二章多模態(tài)智能問答基礎(chǔ)還有一種類似的函數(shù)是雙曲正切（tanh）函數(shù)，其定義如下：tanh(x)=exexex+ex.(2-4)事實上，tanh函數(shù)與sigmoid函數(shù)之間有著緊密的關(guān)系。如果我們把sigmoid函數(shù)放大并平移，就能得到tanh函數(shù)：tanh(x)=2σ(2x)1....

圖2-2ReLU函數(shù)的圖像

電子科技大學碩士學位論文圖2-2ReLU函數(shù)的圖像。2.1.2前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)，亦稱多層感知器（MultilayerPerceptron，MLP），誕生時間最早，結(jié)構(gòu)也比較簡單，它的神經(jīng)元之間不構(gòu)成環(huán)，與循環(huán)神經(jīng)網(wǎng)絡(luò)相區(qū)分。前饋神經(jīng)網(wǎng)絡(luò)中，信息單向傳播，從輸入結(jié)點出發(fā)，經(jīng)....

圖2-3ILSVRC競賽歷代冠軍模型的錯誤率和層數(shù)比較

電子科技大學碩士學位論文圖2-3ILSVRC競賽歷代冠軍模型的錯誤率和層數(shù)比較。假設(shè)對堆疊的層使用一個殘差映射比直接映射要更容易，即圖2-4所示的殘差塊（residualblock）。ResNet的完整架構(gòu)和VGG19等網(wǎng)絡(luò)的對比如圖2-5所示。實驗圖2-4一個殘差塊的圖示[49....

圖2-4一個殘差塊的圖示[49]

電子科技大學碩士學位論文圖2-3ILSVRC競賽歷代冠軍模型的錯誤率和層數(shù)比較。假設(shè)對堆疊的層使用一個殘差映射比直接映射要更容易，即圖2-4所示的殘差塊（residualblock）。ResNet的完整架構(gòu)和VGG19等網(wǎng)絡(luò)的對比如圖2-5所示。實驗圖2-4一個殘差塊的圖示[49....

本文編號：3893587