自動(dòng)摘要作為一種文本解析的重要工具,它可以從海量數(shù)據(jù)中提取出文本的主題信息,實(shí)現(xiàn)從冗余文本到簡(jiǎn)潔文本的快速轉(zhuǎn)換。得益于深度學(xué)習(xí)技術(shù)在自然語(yǔ)言處理（Natural Language Processing,NLP）領(lǐng)域的快速發(fā)展,使得基于深度學(xué)習(xí)技術(shù)的生成式摘要已經(jīng)成為現(xiàn)階段摘要技術(shù)的研究熱點(diǎn)。對(duì)于生成式自動(dòng)摘要而言,其是一種序列到序列（sequence-to-sequence,seq2seq）的模式,而將注意力機(jī)制（Attention Mechanism）融合到seq2seq以實(shí)現(xiàn)對(duì)輸入序列中某些詞的重點(diǎn)關(guān)注,稱之為seq2seq+attention框架。因此,本文以seq2seq+attention框架為基礎(chǔ),融入復(fù)制機(jī)制和Input-feeding方法來改善原始模型的OOV（Out-of-Vocabulary）以及注意力決定準(zhǔn)確率的問題。同時(shí)引入Bert預(yù)訓(xùn)練語(yǔ)言模型和Transformer模型以改善句子的長(zhǎng)距離依賴問題。本文的主要研究?jī)?nèi)容如下:（1）考慮到seq2seq+attention框架在生成摘要時(shí)需要先構(gòu)建一張?jiān)~表,神經(jīng)網(wǎng)絡(luò)通過自主學(xué)習(xí)后,從該詞表中選取概率最大的詞作為輸出... 

【文章來源】：南華大學(xué)湖南省

【文章頁(yè)數(shù)】：82 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

LSTM的內(nèi)部結(jié)構(gòu)

詞的one-hot表示法

23圖2.11beam-search過程（1）從step1到step2的計(jì)算過程為：圖2.12beam-search過程（2）從step2到step3的計(jì)算過程為：圖2.13beam-search過程（3）從step3到step4的計(jì)算過程為：圖2.14beam-search過程（4）

【參考文獻(xiàn)】：
期刊論文
[1]基于改進(jìn)TextRank算法的中文文本摘要提取[J]. 徐馨韜,柴小麗,謝彬,沈晨,王敬平.  計(jì)算機(jī)工程. 2019(03)
[2]近70年文本自動(dòng)摘要研究綜述[J]. 劉家益,鄒益民.  情報(bào)科學(xué). 2017(07)
[3]基于改進(jìn)的TextRank的自動(dòng)摘要提取方法[J]. 余珊珊,蘇錦鈿,李鵬飛.  計(jì)算機(jī)科學(xué). 2016(06)
[4]深度學(xué)習(xí)研究與進(jìn)展[J]. 孫志遠(yuǎn),魯成祥,史忠植,馬剛.  計(jì)算機(jī)科學(xué). 2016(02)
[5]自動(dòng)文本摘要技術(shù)綜述[J]. 胡俠,林曄,王燦,林立.  情報(bào)雜志. 2010(08)
[6]一種基于TFIDF方法的中文關(guān)鍵詞抽取算法[J]. 徐文海,溫有奎.  情報(bào)理論與實(shí)踐. 2008(02)

碩士論文
[1]基于潛在語(yǔ)義分析的文本摘要技術(shù)研究[D]. 王英杰.山東大學(xué) 2014



本文編號(hào)：2988889