自然語言生成是計算語言學與人工智能領(lǐng)域的重要分支。現(xiàn)有的語言生成系統(tǒng)結(jié)構(gòu)冗余、人為參與度較高的問題亟待解決。由于生成對抗網(wǎng)絡(luò)在序列生成方向上逐漸受到關(guān)注,同時為更好地使計算機具有人一樣的表達和寫作能力,基于目標導向的生成方法提供了新的生成角度,不同于語言分析逆過程的生成方式,提升生成內(nèi)容的可控性。現(xiàn)有的用于序列生成的策略梯度算法中,真實環(huán)境提供的獎勵規(guī)則沒有被很好的近似,即用訓練模型本身生成的數(shù)據(jù)作為環(huán)境模型生成的結(jié)果,并當成反饋獎勵參與計算。判別器沒能提供生成目標的獎勵,讓生成器根據(jù)強化學習的方式進行訓練,使對抗生成網(wǎng)絡(luò)中的語言生成模型不能基于目標詞引導進行訓練。本文提出的目標導向的序列對抗生成網(wǎng)絡(luò)（Goal-directed Sequence Generative Adversarial Network,G-SeqGAN）模型,主要實現(xiàn)了強化學習方法與對抗生成網(wǎng)絡(luò)的組合訓練,通過獎勵引導并使用滾動計算方法實現(xiàn)目標序列生成,進一步增強了生成對抗網(wǎng)絡(luò)中自然語言生成任務(wù)的可控性。分析了在使用強化學習方法時容易忽略的環(huán)境要素,總結(jié)環(huán)境的私有狀態(tài),為自然語言生成方法提供一種新的分析視角,并為... 

【文章來源】：大連理工大學遼寧省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：59 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景
    1.2 國內(nèi)外研究現(xiàn)狀及發(fā)展動態(tài)分析
        1.2.1 自然語言生成的最新進展
        1.2.2 序列對抗生成網(wǎng)絡(luò)發(fā)展情況
        1.2.3 仿生學語言研究分析
    1.3 本文的研究動機與主要貢獻
    1.4 本文組織結(jié)構(gòu)
2 相關(guān)技術(shù)
    2.1 生成對抗網(wǎng)絡(luò)
    2.2 強化學習基本概念與方法
        2.2.1 強化學習基礎(chǔ)知識
        2.2.2 決策過程與方法
        2.2.3 方法分類
    2.3 神經(jīng)網(wǎng)絡(luò)模型
        2.3.1 遞歸神經(jīng)網(wǎng)絡(luò)
        2.3.2 長短期記憶神經(jīng)網(wǎng)絡(luò)
        2.3.3 卷積神經(jīng)網(wǎng)絡(luò)
    2.4 本章小結(jié)
3 G-SeqGAN模型
    3.1 模型描述
    3.2 模型重點論述
        3.2.1 目標引導獎勵
        3.2.2 環(huán)境估計可視性
        3.2.3 訓練算法流程
    3.3 實驗驗證
        3.3.1 基本設(shè)置
        3.3.2 評估指標
        3.3.3 預訓練模擬環(huán)境實驗
        3.3.4 模型穩(wěn)定性分析
        3.3.5 模型實值數(shù)據(jù)實驗
        3.3.6 模型參數(shù)調(diào)研
    3.4 本章小結(jié)
4 改進的G-Seq GAN模型
    4.1 模型描述
    4.2 模型改進論述
        4.2.1 預訓練策略
        4.2.2 參數(shù)調(diào)研與設(shè)置
    4.3 實驗驗證
        4.3.1 生成基本評估指標測試
        4.3.2 實值數(shù)據(jù)實驗
    4.4 本章小結(jié)
結(jié)論
參考文獻
攻讀碩士學位期間發(fā)表學術(shù)論文情況
致謝


【參考文獻】：
期刊論文
[1]基于協(xié)同圖排序的對比新聞自動摘要[J]. 黃小江,萬小軍,肖建國.  北京大學學報(自然科學版). 2013(01)
[2]自然語言生成的哲學探索——論語言的生物性、語言與心腦關(guān)系以及語言生成機制[J]. 武冬艷.  外語學刊. 2012(02)
[3]自然語言生成綜述[J]. 張建華,陳家駿.  計算機應(yīng)用研究. 2006(08)



本文編號：3191686