人類(lèi)閱讀理解和機(jī)器閱讀理解一個(gè)很大的差異是,人類(lèi)很善于利用除了文本之外的一些外部知識(shí),來(lái)輔助自己理解獲取答案。然而當(dāng)前的很多機(jī)器閱讀理解方法更多的是在文本匹配層面,僅僅是根據(jù)閱讀理解所提供的文本和問(wèn)題來(lái)尋找答案。但是現(xiàn)實(shí)世界中的機(jī)器閱讀理解任務(wù)很復(fù)雜,僅僅根據(jù)所提供的文本和問(wèn)題,無(wú)法獲得問(wèn)題的答案,需要借助一些常識(shí)性的外部知識(shí)信息。本文以為機(jī)器閱讀理解引入外部知識(shí)為切入點(diǎn),通過(guò)檢索機(jī)器閱讀理解任務(wù)相關(guān)的外部知識(shí)信息,然后設(shè)計(jì)某種方法將其加入到機(jī)器閱讀理解的獲取問(wèn)題答案的過(guò)程中,從而提高機(jī)器閱讀理解獲取問(wèn)題的答案的性能。主要進(jìn)行了以下三項(xiàng)研究工作:（1）基于預(yù)訓(xùn)練語(yǔ)言模型的隱式的引入外部知識(shí)的方法。由于預(yù)訓(xùn)練語(yǔ)言模型借助優(yōu)秀的深度學(xué)習(xí)架構(gòu),能夠很好的利用大量的無(wú)標(biāo)注的文本,而這些大量的無(wú)標(biāo)注的文本中已經(jīng)包含很多的知識(shí),因此,直接使用預(yù)訓(xùn)練模型構(gòu)建機(jī)器閱讀理解模型來(lái)隱式地引入外部知識(shí),相比于的傳統(tǒng)的閱讀理解方法,在實(shí)驗(yàn)的測(cè)試集合上取得了很不錯(cuò)的效果。（2）基于注意力機(jī)制的顯式的引入外部知識(shí)的方法。針對(duì)當(dāng)前很多外部知識(shí)庫(kù)如NELL、Word Net等都包含豐富的知識(shí)信息,使用適當(dāng)?shù)姆椒z索出... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：64 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

ReCoRD例子

哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文-12-語(yǔ)言模型，即在估計(jì)條件概率的大小時(shí)，不需要對(duì)當(dāng)前詞的前面所有的詞進(jìn)行計(jì)算，只需要對(duì)當(dāng)前詞的前面N個(gè)詞進(jìn)行計(jì)算，公式表示如下：(|1,2,…,1)≈(|(1),…,1)(22)(|(1),…,1)=((1),…,1,)((1),…,1)(23)在N-gram語(yǔ)言模型當(dāng)中，傳統(tǒng)的方法估算N元條件概率一般采用頻率計(jì)數(shù)的比例來(lái)估算。然而這個(gè)方法也有很大的缺陷，當(dāng)N較大的時(shí)候，會(huì)有數(shù)據(jù)稀疏的問(wèn)題，這會(huì)導(dǎo)致估算結(jié)果不準(zhǔn)確，因此在實(shí)際中，一般常采用二元語(yǔ)言模型和三元語(yǔ)言模型，然而該方法所起到的作用仍然有限。2003年Bengio等人為了緩解N-gram語(yǔ)言模型估計(jì)概率時(shí)所碰到的數(shù)據(jù)稀疏的問(wèn)題，提出了經(jīng)典的神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型[41]，該語(yǔ)言模型使用了前饋的全連接的神經(jīng)網(wǎng)絡(luò)建模，首層參數(shù)可以作為詞向量表示。圖2-2NNLM模型結(jié)構(gòu)圖詞向量可看作是NNLM的一個(gè)副產(chǎn)品，2013年Mikolov等人提出word2vec[42]，該方法使用一些優(yōu)化技巧專(zhuān)注于詞向量的產(chǎn)生。在這基礎(chǔ)之上，研究者又提出通過(guò)共現(xiàn)語(yǔ)料矩陣進(jìn)行高效分解產(chǎn)生的glove詞向量。然而word2vec、glove[43]等傳統(tǒng)的語(yǔ)言模型訓(xùn)練方法，產(chǎn)生的是靜態(tài)詞向量，未考慮一詞多義、無(wú)法理解復(fù)雜語(yǔ)境，這將導(dǎo)致在很多NLP任務(wù)上不能達(dá)到一個(gè)很好的效果。針對(duì)這個(gè)問(wèn)題，研究者提出了新的預(yù)訓(xùn)練語(yǔ)言模型的方法，能夠產(chǎn)生上下文相關(guān)的特征表示，即動(dòng)態(tài)詞向量，下一節(jié)將介紹新的預(yù)訓(xùn)練語(yǔ)言模型的方法。

哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文-13-2.3.2預(yù)訓(xùn)練語(yǔ)言模型第一個(gè)最具有代表性的預(yù)訓(xùn)練語(yǔ)言模型應(yīng)該是華盛頓大學(xué)的研究者的工作。2018年，他們提出了有名的ELMo[15]，該模型主要是為了解決詞向量的一詞多義的問(wèn)題，而且詞向量編碼的信息應(yīng)該包含句法信息和語(yǔ)義信息。因此，ELMo借助語(yǔ)言模型來(lái)獲得一個(gè)上下文相關(guān)的預(yù)訓(xùn)練的表示。而且ELMo的基本結(jié)構(gòu)使用的是一個(gè)雙向的LSTM語(yǔ)言模型，該模型由一個(gè)前向和一個(gè)后向語(yǔ)言模型構(gòu)成，目標(biāo)函數(shù)是這兩個(gè)方向語(yǔ)言模型的最大似然估計(jì)。具體的，給定一個(gè)包含N個(gè)詞的句子，前向語(yǔ)言模型計(jì)算的概率為：(1,2,…,)=∏(|1,2,…,1)=1(24)后向語(yǔ)言模型計(jì)算的概率為:(1,2,…,)=∏(|+1,+2,…,)=1(25)取前向和后向語(yǔ)言模型兩個(gè)方向的最大似然：∑((|1,2,…,1;,→,)=1+(|+1,+2,…,;,←,)(26)在訓(xùn)練好這個(gè)語(yǔ)言模型之后，對(duì)于每個(gè)詞，ELMo計(jì)算雙向語(yǔ)言模型的每一個(gè)中間層的和作為該詞的表示，也可以直接使用最上層的表示。另外，如果是有監(jiān)督NLP任務(wù)，可以直接以特征添加的方式來(lái)使用。圖2-3ELMo模型結(jié)構(gòu)圖

【參考文獻(xiàn)】：
期刊論文
[1]問(wèn)答系統(tǒng)研究綜述[J]. 毛先領(lǐng),李曉明.  計(jì)算機(jī)科學(xué)與探索. 2012(03)
[2]基于層疊條件隨機(jī)場(chǎng)的旅游領(lǐng)域命名實(shí)體識(shí)別[J]. 郭劍毅,薛征山,余正濤,張志坤,張宜浩,姚賢明.  中文信息學(xué)報(bào). 2009(05)
[3]基于規(guī)則的中文閱讀理解問(wèn)題回答技術(shù)研究[J]. 李濟(jì)洪,楊杏麗,王瑞波,張娜,李國(guó)臣.  中文信息學(xué)報(bào). 2009(04)
[4]基于最大熵模型的中文閱讀理解問(wèn)題回答技術(shù)研究[J]. 李濟(jì)洪,王瑞波,王凱華,李國(guó)臣.  中文信息學(xué)報(bào). 2008(06)
[5]中文閱讀理解語(yǔ)料庫(kù)構(gòu)建技術(shù)研究[J]. 郝曉燕,李濟(jì)洪,由麗萍,劉開(kāi)瑛.  中文信息學(xué)報(bào). 2007(06)



本文編號(hào)：3259377