機(jī)器閱讀理解是人工智能和自然語(yǔ)言處理領(lǐng)域的一個(gè)重要研究課題,是自動(dòng)問(wèn)答模型的關(guān)鍵支撐技術(shù),有著重要的研究意義和廣泛的應(yīng)用價(jià)值。隨著互聯(lián)網(wǎng)的發(fā)展和技術(shù)的進(jìn)步,研究者提出了各種閱讀理解模型,在部分?jǐn)?shù)據(jù)集上可以達(dá)到超越人類(lèi)的效果。然而,機(jī)器閱讀領(lǐng)域仍然有大量未解決的問(wèn)題需要繼續(xù)探索,研究機(jī)器閱讀理解模型的進(jìn)一步優(yōu)化對(duì)學(xué)術(shù)界和工業(yè)界都有重要意義。得益于技術(shù)的發(fā)展和運(yùn)算速度的提升,大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型被提出并在許多自然語(yǔ)言理解任務(wù)上都有亮眼表現(xiàn)。然而,這些模型在抽取式閱讀理解任務(wù)中的應(yīng)用方法仍然較為簡(jiǎn)單,在模型結(jié)構(gòu)和數(shù)據(jù)構(gòu)成上都有可以?xún)?yōu)化之處。本文主要從一種預(yù)訓(xùn)練語(yǔ)言模型—ALBERT入手,從模型和數(shù)據(jù)兩方面分別基于雙向注意力和標(biāo)簽軟化對(duì)該模型進(jìn)行優(yōu)化,使其在抽取式閱讀理解任務(wù)中能有更好的表現(xiàn)。首先,本文對(duì)ALBERT在抽取式閱讀理解任務(wù)中的應(yīng)用效果進(jìn)行了驗(yàn)證。分析了ALBERT的模型特點(diǎn)和主要優(yōu)勢(shì),并在SQu AD 2.0、News QA、QUOREF三個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明該模型在三個(gè)基準(zhǔn)數(shù)據(jù)集上都有較好的表現(xiàn),在SQu AD和News QA上可以超越人類(lèi),在News QA和... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：61 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Transformer模型結(jié)構(gòu)[45]

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文圖2-2Transformer中的多頭注意力結(jié)構(gòu)[45]題。預(yù)訓(xùn)練階段的目的是得到高質(zhì)量、高適用性的編碼器，更好地捕捉輸入文本中的語(yǔ)義關(guān)系，并服務(wù)于下游應(yīng)用。得到編碼器之后，對(duì)于不同的下游任務(wù)，再配以針對(duì)此任務(wù)的解碼器，就可以將預(yù)訓(xùn)練語(yǔ)言模型應(yīng)用到不同的任務(wù)上了。因此預(yù)訓(xùn)練語(yǔ)言模型的主體往往是編碼器部分，并沒(méi)有通用的解碼部分，解碼器通常設(shè)計(jì)的比較簡(jiǎn)單。當(dāng)我們提起B(yǎng)ERT模型時(shí)，一般也指的是BERT的編碼器部分。BERT的編碼器部分非常簡(jiǎn)單，就是之前說(shuō)明的Transformer編碼器，網(wǎng)絡(luò)結(jié)構(gòu)沒(méi)有任何改動(dòng)，只是在一些細(xì)節(jié)上有一定區(qū)別，如加入了分段信息，位置向量的實(shí)現(xiàn)出現(xiàn)區(qū)別，使用GELU激活函數(shù)[49]替代ReLU等。而在關(guān)于如何預(yù)訓(xùn)練BERT模型的問(wèn)題上，不同于ELMo[3]等傳統(tǒng)語(yǔ)言模型給定句子上文預(yù)測(cè)下一個(gè)詞的任務(wù)，作者進(jìn)行了富有啟發(fā)性的探索。BERT模型使用兩個(gè)任務(wù)進(jìn)行預(yù)訓(xùn)練，一是著重于句子內(nèi)部上下文關(guān)系的詞預(yù)測(cè)任務(wù)—MaskedLanguageModeling（MLM），二是著重于句對(duì)之間交互關(guān)系的二分類(lèi)任務(wù)—NextSentencePrediction（NSP）。MLM任務(wù)形式類(lèi)似于完形填空（Cloze）[50]。對(duì)于一個(gè)完整的單語(yǔ)句子，在預(yù)處理階段隨機(jī)去除句子中的某些單詞，并在這個(gè)位置留下空位。其中部分空位會(huì)被填充為隨機(jī)詞，要求模型根據(jù)輸入的句子恢復(fù)原來(lái)的句子。由于存在句子空位已經(jīng)被填充的情況，模型不能簡(jiǎn)單地判斷出要預(yù)測(cè)的是哪一個(gè)單詞，這就要求模型對(duì)輸入文本中每一個(gè)詞都進(jìn)行高質(zhì)量的建模，保證了任務(wù)不會(huì)退化。在自然語(yǔ)言處理領(lǐng)域-11-


本文編號(hào)：3212596