近年來,深度學(xué)習(xí)的興起為基于深度神經(jīng)網(wǎng)絡(luò)的文本生成方法的發(fā)展提供了新的契機(jī)。作為文本生成問題中的代表性任務(wù),自動(dòng)文本摘要和自動(dòng)文本簡化旨在提取出原始文本的核心內(nèi)容,并生成一段可讀性強(qiáng)且易于理解的文本,是應(yīng)對(duì)信息過載、閱讀困難等實(shí)際問題的高效解決方案。目前主流的神經(jīng)網(wǎng)絡(luò)方法多采用基于循環(huán)神經(jīng)網(wǎng)絡(luò)的編碼器-解碼器框架,存在原始文本表示欠佳、生成句與原始文本語義相關(guān)性不高、生成句子冗余、集外詞生成困難等諸多問題。針對(duì)這些問題,本文探究了基于深度神經(jīng)網(wǎng)絡(luò)的文本生成方法,在自動(dòng)文本臀謀炯蚧?熱撾襠峽?沽搜芯抗ぷ?設(shè)計(jì)并實(shí)現(xiàn)了一種基于改進(jìn)集束搜索的生成式摘要生成方法和一種基于子詞單元的端到端文本簡化方法,分別在多個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明了模型在任務(wù)上的有效性。本文的主要貢獻(xiàn)具體包括:(1)設(shè)計(jì)并實(shí)現(xiàn)了一種基于改進(jìn)集束搜索的生成式摘要方法,其中包括:一種新型混合編碼器結(jié)構(gòu),利用循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸入文本序列中的時(shí)序信息和長距離依賴,同時(shí)利用卷積神經(jīng)網(wǎng)絡(luò)捕獲輸入序列的上下文信息;兩種用于摘要解碼的集束搜索算法,即得分函數(shù)結(jié)合了語言模型和語法形式懲罰策略的語法增強(qiáng)集束搜索算法和引入了一個(gè)懲罰因子的多樣性集束搜索算法;一種基于關(guān)鍵短語的重排序機(jī)制,利用候選句與原始文本中重合關(guān)鍵短語的重要性得分對(duì)候選句進(jìn)行排序。在CNN/Daily Mail等多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)表明了該模型在文本摘要任務(wù)上的有效性。(2)設(shè)計(jì)并實(shí)現(xiàn)了一種基于子詞單元的端到端文本簡化方法,利用字節(jié)對(duì)編碼算法提取子詞單元并構(gòu)建詞表,減小詞表規(guī)模以提升序列到序列模型的效率,利用子詞單元關(guān)聯(lián)形態(tài)相近的詞語,解決罕見詞訓(xùn)練及集外詞生成問題。將該模型應(yīng)用到PWKP和WikNet等數(shù)據(jù)集上,實(shí)驗(yàn)結(jié)果與詞語級(jí)方法相對(duì)比表明了本模型的有效性。
【學(xué)位單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP391.1;TP183
【部分圖文】：

。??２．３相關(guān)研究工作??２．３．１基于神經(jīng)網(wǎng)絡(luò)的文本表示??在自動(dòng)文本摘要中，首先面臨的一個(gè)問題就是原始文本的表示問題，良好的??文本表示是后續(xù)生成高質(zhì)量的摘要句的基礎(chǔ)。文本表示是指將自然語言符號(hào)轉(zhuǎn)??換成數(shù)學(xué)形式，便于計(jì)算機(jī)能夠理解并運(yùn)算，這種數(shù)學(xué)形式通常是稠密低維的實(shí)??數(shù)向量。在自然語言中，詞語是句子的基本組成單元，而句子構(gòu)成了文檔，在研??究者們嘗試合理表示詞向量的同時(shí)，也有很多模型被提出用于建模句子和文檔，??尤其在近年深度學(xué)習(xí)大發(fā)展的背景下，基于深度神經(jīng)網(wǎng)絡(luò)模型的語句表示研宄??工作大量涌現(xiàn)，其優(yōu)勢(shì)在于其自動(dòng)學(xué)習(xí)特征的表達(dá)能力，從而免于繁雜的特征工??程。目前較為主流的語句表示模型主要包括兩種，即循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)??絡(luò)。本節(jié)將對(duì)這兩種模型進(jìn)行具體的介紹。??

且所有節(jié)點(diǎn)（循環(huán)單元）按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)，也就是說，網(wǎng)絡(luò)中每個(gè)循環(huán)??單元當(dāng)前時(shí)間步的狀態(tài)由該時(shí)間步的輸入和上一個(gè)時(shí)間步的狀態(tài)同時(shí)決定。如??圖２．１所示，循環(huán)神經(jīng)網(wǎng)絡(luò)是同一結(jié)構(gòu)的多次復(fù)制，右側(cè)圖案是其展開形式，ｆ時(shí)??刻的狀態(tài)＼不僅依賴于ｒ時(shí)刻的輸入Ｘ，，還依賴于／－Ｉ時(shí)刻的狀態(tài)Ａｍ，而卜１??時(shí)刻的狀態(tài)又依賴于卜１時(shí)刻的輸入和卜２時(shí)刻的狀態(tài)，如此遞歸。時(shí)序上的依??賴使循環(huán)神經(jīng)網(wǎng)絡(luò)在某時(shí)刻輸出時(shí)可以充分考慮歷史信息，在理論上能夠?qū)θ??意長度的序列進(jìn)行建模，尤其適合文本數(shù)據(jù)的處理。然而，在經(jīng)典的循環(huán)神經(jīng)網(wǎng)??絡(luò)結(jié)構(gòu)中，損失的梯度經(jīng)過多個(gè)時(shí)間步的反向傳播后容易出現(xiàn)極端的非線性態(tài)??勢(shì)，即梯度消失問題（Ｇｒａｄｉｅｎｔ?Ｖａｎｉｓｈｉｎｇ?Ｐｒｏｂ丨ｅｍ）＿，換言之，當(dāng)序列的長度比??較大時(shí)，迭代后期梯度在反向傳遞到較早時(shí)刻時(shí)趨向于零，導(dǎo)致梯度彌散，對(duì)模??型參數(shù)的更新非常弱。??為了解決經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中存在的上述問題

門限循環(huán)單元ＧＲＵ是另外一種應(yīng)用廣泛的循環(huán)神經(jīng)網(wǎng)絡(luò)變體，相較于長短??記憶單元，ＧＲＵ的優(yōu)勢(shì)在于其結(jié)構(gòu)比較簡單、易于實(shí)現(xiàn)、收斂速度快。標(biāo)準(zhǔn)的??ＧＲＵ單元結(jié)構(gòu)如圖２．３所示，其通過重置門（Ｒｅｓｅｔ?Ｇａｔｅ）?ｒ，和更新門（Ｕｐｄａｔｅ?Ｇａｔｅ）??ｚ，來保證模型對(duì)較長句子信息的記憶能力。根據(jù)ｆ時(shí)刻的輸入向量ｘ，和ｆ?－?１時(shí)??刻的隱狀態(tài)／２ｍ，ＧＲＵ循環(huán)計(jì)算單元根據(jù)公式（２．６－２．９）計(jì)算當(dāng)前時(shí)刻的輸出，??ｒ，?＝?ａ（］Ｖｒｘｘ，?＋?Ｗｒｈｈ，＿ｘ?＋?ｂｒ）?（２．６）??ｈ，?＝?＼２．ｎ＼＼（Ｗｘｔ?＋?Ｗ｛ｒｔ?０?＋?ｂｈ）?（２．７）??ｚ＾ｏｉＷ＾?＋?Ｗ＾＋ｂ，）?（２．８）??／ｉ，?＝?（１?－?ｚ，）?Ｏ?ｈｔ＿ｘ?＋?ｚ，Ｑ?ｈ，?（２．９）??其中Ｏ表示將兩個(gè)向量中對(duì)應(yīng)元素相乘得到新的向量，〇■（？）表示激活函??數(shù)
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡悅;;金融市場中的神經(jīng)網(wǎng)絡(luò)拐點(diǎn)預(yù)測(cè)法[J];金融經(jīng)濟(jì);2017年18期

2 陳曉燕;;淺析簡單神經(jīng)網(wǎng)絡(luò)的發(fā)展及簡單模型[J];數(shù)字技術(shù)與應(yīng)用;2019年05期

3 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡(luò)大會(huì)述評(píng)[J];國際學(xué)術(shù)動(dòng)態(tài);1996年01期

4 吳立可;;脈沖神經(jīng)網(wǎng)絡(luò)和行為識(shí)別[J];通訊世界;2018年12期

5 林嘉應(yīng);鄭柏倫;劉捷;;基于卷積神經(jīng)網(wǎng)絡(luò)的船舶分類模型[J];信息技術(shù)與信息化;2019年02期

6 俞頌華;;卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用綜述[J];信息通信;2019年02期

7 韓真;凱文·哈特尼特;;為神經(jīng)網(wǎng)絡(luò)的通用理論建造基石[J];世界科學(xué);2019年04期

8 鮑偉強(qiáng);陳娟;熊濤;;基于進(jìn)化神經(jīng)網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測(cè)研究[J];電工技術(shù);2019年11期

9 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設(shè)計(jì)研究[J];數(shù)字技術(shù)與應(yīng)用;2018年04期

10 張庭略;;基于硬件的神經(jīng)網(wǎng)絡(luò)加速[J];通訊世界;2018年08期

相關(guān)博士學(xué)位論文 前10條

1 陳冬冬;基于深度神經(jīng)網(wǎng)絡(luò)的視覺媒體風(fēng)格轉(zhuǎn)換方法研究[D];中國科學(xué)技術(shù)大學(xué);2019年

2 韓旭;基于神經(jīng)網(wǎng)絡(luò)的文本特征表示關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2019年

3 楊國花;基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的對(duì)話狀態(tài)追蹤技術(shù)研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

4 楊威;基于卷積神經(jīng)網(wǎng)絡(luò)的高效語義分割方法研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院光電技術(shù)研究所);2019年

5 雷學(xué)文;基于深度神經(jīng)網(wǎng)絡(luò)的風(fēng)功率日前預(yù)測(cè)與電力系統(tǒng)聯(lián)合調(diào)度研究[D];西安理工大學(xué);2018年

6 陳川;憶阻神經(jīng)網(wǎng)絡(luò)的同步控制及在信息安全中的應(yīng)用研究[D];北京郵電大學(xué);2019年

7 姜春暉;深度神經(jīng)網(wǎng)絡(luò)剪枝方法研究[D];中國科學(xué)技術(shù)大學(xué);2019年

8 昌杰;基于深度神經(jīng)網(wǎng)絡(luò)的腫瘤圖像分析與處理[D];中國科學(xué)技術(shù)大學(xué);2019年

9 宮磊;可重構(gòu)平臺(tái)上面向卷積神經(jīng)網(wǎng)絡(luò)的異構(gòu)多核加速方法研究[D];中國科學(xué)技術(shù)大學(xué);2019年

10 丁鵬;基于深度卷積神經(jīng)網(wǎng)絡(luò)的光學(xué)遙感目標(biāo)檢測(cè)技術(shù)研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所);2019年

相關(guān)碩士學(xué)位論文 前10條

1 權(quán)峻;太陽能溫室建模及智能控制策略研究[D];天津理工大學(xué);2019年

2 鐘文雅;基于深度卷積神經(jīng)網(wǎng)絡(luò)的乳腺X線圖像的分類方法研究[D];南陽師范學(xué)院;2019年

3 薛花;基于聚類與神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾推薦系統(tǒng)關(guān)鍵技術(shù)的研究[D];天津理工大學(xué);2019年

4 張璐;基于深度學(xué)習(xí)的淋巴結(jié)自動(dòng)分割算法研究[D];浙江大學(xué);2019年

5 郭盼盼;基于GA-BP神經(jīng)網(wǎng)絡(luò)的多日股票價(jià)格預(yù)測(cè)[D];鄭州大學(xué);2019年

6 王旭東;基于光散射的磷礦磨礦粒度分析方法研究[D];武漢工程大學(xué);2018年

7 熊雨點(diǎn);基于深度學(xué)習(xí)的表單識(shí)別系統(tǒng)的研究與實(shí)現(xiàn)[D];武漢工程大學(xué);2018年

8 聶若瑩;基于AMDAR數(shù)據(jù)的對(duì)流云附近顛簸區(qū)預(yù)測(cè)方法研究[D];中國民用航空飛行學(xué)院;2019年

9 李高玲;基于神經(jīng)網(wǎng)絡(luò)的算法作曲與情感識(shí)別研究[D];鄭州大學(xué);2019年

10 路高飛;基于遺傳算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的信用風(fēng)險(xiǎn)研究[D];鄭州大學(xué);2019年

本文編號(hào)：2885591