發(fā)布時(shí)間：2021-09-14 21:02

　　自然語(yǔ)言處理,作為現(xiàn)今AI一個(gè)引人注目的領(lǐng)域,主要探索自然語(yǔ)言和計(jì)算機(jī)之間的交互關(guān)系.其中,使機(jī)器具有像人類(lèi)一樣的閱讀理解能力,吸引了眾多研究者的關(guān)注.如果一臺(tái)機(jī)器具有優(yōu)秀的閱讀理解水平,那么在人類(lèi)生活中,許多應(yīng)用顯示出的智能水平,就會(huì)更接近人類(lèi),從而更好地服務(wù)人類(lèi).機(jī)器閱讀理解有多種形式,其中片段抽取型是研究的熱點(diǎn).伴隨高質(zhì)量數(shù)據(jù)集的出現(xiàn),基于深度學(xué)習(xí)的各種性能優(yōu)異的模型也被相繼推出.在SQuAD數(shù)據(jù)集上,給定問(wèn)題,答案限定為文本的一個(gè)片段,而現(xiàn)有模型的基本架構(gòu)都可以概括為嵌入層、編碼層、交互層和輸出層4個(gè)部分,其中在編碼層都使用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行編碼,使上下文的語(yǔ)義信息融合進(jìn)文本和問(wèn)題單詞的向量表示.本文嘗試使用卷積神經(jīng)網(wǎng)絡(luò)在編碼層對(duì)文本和問(wèn)題進(jìn)行編碼.在實(shí)證分析部分,基于SQuAD數(shù)據(jù)集,首先實(shí)現(xiàn)一個(gè)包含循環(huán)神經(jīng)網(wǎng)絡(luò)編碼層的基線模型,其中在輸出層使用一個(gè)滑動(dòng)窗口避免模型在預(yù)測(cè)時(shí)輸出為空.其次,依據(jù)對(duì)訓(xùn)練數(shù)據(jù)集的統(tǒng)計(jì)分析,實(shí)現(xiàn)一個(gè)基于多層卷積運(yùn)算的編碼層,替換基線模型的原始編碼層作為改進(jìn)模型.通過(guò)實(shí)驗(yàn)分析,改進(jìn)模型在給定評(píng)價(jià)指標(biāo)上的表現(xiàn)稍遜于基線模型,但在參數(shù)數(shù)量、迭代速度上占優(yōu),模... 

【文章來(lái)源】：華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：47 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

前饋神經(jīng)網(wǎng)絡(luò)圖像

圖 2-2 Sigmoid 函數(shù)圖像還有雙曲正切函數(shù)[25]f ( x ) Tanh( x)：e eTanh( )e ex xx xx . 2-3 所示為 Tanh 函數(shù).圖 2-3 Tanh 函數(shù)圖像

9圖 2-3 Tanh 函數(shù)圖像數(shù)和 Tanh 函數(shù)具有明顯的擠壓作用, 因?yàn)槠湓诖蟛苛? 僅僅當(dāng) x 在0附近才有一個(gè)較高的梯度, 這會(huì)使困難.元[26]（Rectified Linear Unit, ReLU）是目前神經(jīng)網(wǎng)如下公式：f ( x ) max(0, x).


本文編號(hào)：3395523