隨著信息科學(xué)技術(shù)的發(fā)展,自然語(yǔ)言處理技術(shù)經(jīng)歷了從統(tǒng)計(jì)機(jī)器學(xué)習(xí)到神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的階段。隨后注意力機(jī)制的應(yīng)用使其在信息提取、機(jī)器翻譯等問(wèn)題上取得了巨大的進(jìn)步,同時(shí)也使它在企業(yè)輿情監(jiān)控中得到了廣泛的應(yīng)用。在企業(yè)的決策與發(fā)展中,公關(guān)人員需要根據(jù)網(wǎng)絡(luò)上與公司相關(guān)的輿情數(shù)據(jù)分析過(guò)去一段時(shí)間內(nèi)公司的口碑信息,并預(yù)測(cè)未來(lái)一段時(shí)間內(nèi)公司輿情的發(fā)展與走向。在將注意力與自然語(yǔ)言處理技術(shù)相結(jié)合應(yīng)用到企業(yè)輿情分析中時(shí),面臨著諸多亟待解決的問(wèn)題。如針對(duì)互聯(lián)網(wǎng)公司出現(xiàn)的輿情文本數(shù)據(jù)與針對(duì)金融企業(yè)的輿情數(shù)據(jù)所表達(dá)的文本信息主題不同,文本處理成結(jié)構(gòu)化數(shù)據(jù)的方法不同,都可能會(huì)導(dǎo)致信息在完整度上的缺失與歧義。注意力最早被應(yīng)用在計(jì)算機(jī)視覺(jué)領(lǐng)域里,隨后,人們開(kāi)始研究注意力機(jī)制在自然語(yǔ)言處理中的應(yīng)用,如機(jī)器翻譯任務(wù)。其后注意力機(jī)制被廣泛應(yīng)用在基于循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的各種自然語(yǔ)言處理任務(wù)中。自注意力機(jī)制則是注意力中的一種特殊情況,它在提取文本特征的時(shí)候起著重要的作用。目前注意力模型多與編碼器-解碼器聯(lián)合使用。編碼器-解碼器是深度學(xué)習(xí)領(lǐng)域中的一種研究模式,應(yīng)用場(chǎng)景廣泛。本文提出了一種自注意力編碼器與解碼器的語(yǔ)義理解方法,通過(guò)深... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：88 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景和意義
    1.2 國(guó)內(nèi)外研究歷史與現(xiàn)狀
    1.3 論文主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)
    1.4 論文結(jié)構(gòu)組織與安排
第二章 相關(guān)理論和技術(shù)
    2.1 文本預(yù)處理
    2.2 特征選擇
    2.3 機(jī)器學(xué)習(xí)特征提取和分類(lèi)方法
    2.4 評(píng)估指標(biāo)
    2.5 本章小結(jié)
第三章 深度語(yǔ)言理解模型
    3.1 離散表示
        3.1.1 One-Hot編碼
        3.1.2 N元模型
    3.2 連續(xù)表示
        3.2.1 CBOW語(yǔ)言表示
        3.2.2 Skip-Gram語(yǔ)言表示
    3.3 基于實(shí)體知識(shí)的混合語(yǔ)言模型
        3.3.1 模型結(jié)構(gòu)描述
        3.3.2 實(shí)驗(yàn)數(shù)據(jù)集
        3.3.3 實(shí)驗(yàn)設(shè)計(jì)
        3.3.4 實(shí)驗(yàn)評(píng)估
        3.3.5 結(jié)果分析
    3.4 本章小結(jié)
第四章 基于自注意力的編碼器-解碼器
    4.1 注意力機(jī)制
        4.1.1 注意力值的計(jì)算
        4.1.2 鍵值對(duì)注意力
    4.2 編碼器與解碼器
    4.3 注意力機(jī)制與編碼器-解碼器
    4.4 自注意力機(jī)制
    4.5 基于自注意力的編碼器-解碼器
        4.5.1 模型介紹
        4.5.2 位置編碼
        4.5.3 實(shí)驗(yàn)數(shù)據(jù)集
        4.5.4 實(shí)驗(yàn)設(shè)計(jì)與分析
    4.6 本章小結(jié)
第五章 總結(jié)與展望
    5.1 論文總結(jié)
    5.2 研究展望
致謝
參考文獻(xiàn)
攻讀碩士學(xué)位期間取得的成果


【參考文獻(xiàn)】：
期刊論文
[1]基于L-STM模型的中文情感分類(lèi)[J]. 王景中,龐丹丹.  計(jì)算機(jī)工程與設(shè)計(jì). 2018(11)
[2]基于CNN和BiLSTM網(wǎng)絡(luò)特征融合的文本情感分析[J]. 李洋,董紅斌.  計(jì)算機(jī)應(yīng)用. 2018(11)
[3]基于BiGRU-attention神經(jīng)網(wǎng)絡(luò)的文本情感分類(lèi)模型[J]. 王偉,孫玉霞,齊慶杰,孟祥福.  計(jì)算機(jī)應(yīng)用研究. 2019(12)
[4]基于多注意力長(zhǎng)短時(shí)記憶的實(shí)體屬性情感分析[J]. 支淑婷,李曉戈,王京博,王鵬華.  計(jì)算機(jī)應(yīng)用. 2019(01)
[5]基于詞典與規(guī)則的文本情感分析[J]. 姚珂.  電腦知識(shí)與技術(shù). 2018(26)
[6]結(jié)合情感詞典的主動(dòng)貝葉斯文本情感分類(lèi)方法[J]. 張敏,陳鍛生.  華僑大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(04)
[7]邏輯學(xué)視域中的自然語(yǔ)言分析[J]. 楊玉蘭.  外語(yǔ)學(xué)刊. 2014(04)
[8]自然語(yǔ)言理解的機(jī)器認(rèn)知形式系統(tǒng)[J]. 黃培紅.  計(jì)算機(jī)工程與科學(xué). 2007(06)
[9]隱含語(yǔ)義索引模型的分析與研究[J]. 王春紅,張敏.  計(jì)算機(jī)應(yīng)用. 2007(05)



本文編號(hào)：3192145