發(fā)布時間：2023-03-09 20:17

　　飛速發(fā)展的互聯(lián)網(wǎng)與大數(shù)據(jù)技術(shù)使我們置身于信息爆炸的時代,同時也導(dǎo)致文本信息過載的問題變得更加嚴重。通過互聯(lián)網(wǎng)我們能夠快速獲取海量信息,但網(wǎng)絡(luò)中文本含有大量的冗余數(shù)據(jù),自動文本摘要的目的是提煉出文本的關(guān)鍵內(nèi)容并生成簡短摘要,能夠有效提升用戶的使用體驗,故頗具研究意義。目前,基于深度學習的自動文本摘要技術(shù)已經(jīng)取得了不錯的發(fā)展,但是受限于軟硬件條件和模型復(fù)雜度的要求,在文本較長的情況下相關(guān)算法還是存在許多不足,并且生成的摘要難以充分覆蓋源文本的關(guān)鍵信息。本文主要基于深度學習技術(shù),設(shè)計合適的模型架構(gòu)和訓(xùn)練策略,有效改善單文檔中長文本輸入的生成式文本摘要效果。本文的主要工作和研究成果如下:本文基于序列到序列基礎(chǔ)架構(gòu)設(shè)計生成式自動文本摘要模型,借助遷移學習的思想,提出了基于預(yù)訓(xùn)練模型的生成式自動文本摘要算法,有效增強了摘要模型的文本表示和特征抽取能力。并且,本文引入多任務(wù)學習,針對性地設(shè)計了三階段訓(xùn)練策略:第一階段使用抽取式文本摘要任務(wù)對模型的編碼器部分進行微調(diào);第二階段使用生成式文本摘要任務(wù)對整個模型進行訓(xùn)練;第三階段使用多任務(wù)學習對抽取式和生成式文本摘要任務(wù)進行聯(lián)合建模并訓(xùn)練,最終在真實數(shù)據(jù)集...

【文章頁數(shù)】：79 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 抽取式文本摘要的研究現(xiàn)狀
        1.2.2 生成式文本摘要的研究現(xiàn)狀
        1.2.3 自然語言處理預(yù)訓(xùn)練技術(shù)的研究現(xiàn)狀
    1.3 論文的主要工作
    1.4 論文的結(jié)構(gòu)安排
第二章 相關(guān)理論與技術(shù)
    2.1 語言模型與詞向量建模
        2.1.1 語言模型
        2.1.2 詞向量建模
    2.2 自然語言處理特征抽取器
        2.2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.2.2 注意力機制
        2.2.3 Transformer
    2.3 遷移學習與多任務(wù)學習
        2.3.1 遷移學習
        2.3.2 多任務(wù)學習
    2.4 本章小結(jié)
第三章 基于預(yù)訓(xùn)練機制的生成式文本摘要方法研究
    3.1 研究目標
    3.2 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的生成式文本摘要模型
    3.3 改進的基于預(yù)訓(xùn)練機制的生成式文本摘要模型
        3.3.1 BERT預(yù)訓(xùn)練模型
        3.3.2 基于Transformer的生成式文本摘要模型
    3.4 改進的基于多任務(wù)學習的三階段訓(xùn)練策略
    3.5 本章小結(jié)
第四章 關(guān)鍵信息增強的生成式文本摘要方法研究
    4.1 研究目標
    4.2 基于圖模型的關(guān)鍵句提取算法
    4.3 基于分類模型的關(guān)鍵詞提取算法
    4.4 改進的關(guān)鍵信息增強的生成式文本摘要模型
    4.5 本章小結(jié)
第五章 實驗設(shè)計及分析
    5.1 實驗運行環(huán)境與實驗數(shù)據(jù)集
    5.2 實驗評價指標
    5.3 關(guān)鍵信息抽取效果分析
        5.3.1 關(guān)鍵句抽取效果分析
        5.3.2 關(guān)鍵詞抽取效果分析
    5.4 文本摘要各項實驗結(jié)果分析
        5.4.1 文本摘要算法整體分析
        5.4.2 不同改進策略對文本摘要結(jié)果的影響
    5.5 本章小結(jié)
第六章 總結(jié)與展望
    6.1 全文總結(jié)
    6.2 不足與展望
致謝
參考文獻
攻讀碩士期間取得的成果



本文編號：3758227