發(fā)布時間：2024-11-01 23:38

　　文本分類任務(wù)作為文本挖掘的核心,已成為自然語言處理領(lǐng)域的一個關(guān)鍵問題。面對互聯(lián)網(wǎng)上的文本資源爆炸式增長的趨勢,如何有效的利用文本數(shù)據(jù),挖掘其背后的商業(yè)價值和研究價值,具有非常重要的意義。在此背景下,本文以序列型文本數(shù)據(jù)作為研究對象,提出了兩種融合上下文信息的文本分類算法。近年來,深度學(xué)習(xí)技術(shù)在特征提取和表示方面已經(jīng)有了很大進(jìn)展,且在大多數(shù)自然語言處理任務(wù)中獲得了令人滿意的成果。但是,結(jié)合國內(nèi)外研究現(xiàn)狀,在目前對深度學(xué)習(xí)的研究中,大多數(shù)的文本分類算法沒有考慮到文本的上下文句子信息,并將其作為額外信息的補(bǔ)充利用,然而,如果給出一個沒有任何語境的句子,即使人為的判斷類別也有一定的困難。針對以上問題,本文提出了兩種分類算法,一種是基于CNN的注意力機(jī)制融合上下文信息的文本分類算法,另外一種的基于BLSTM的注意力機(jī)制融合上下文信息的文本分類算法,通過從句子層面和詞層面分別設(shè)計的注意力結(jié)構(gòu)將上下文信息融合進(jìn)最終的特征表示中,增加了特征信息的多樣性。同時為了驗證兩種算法的可行性,本文首先使用了開源對話數(shù)據(jù)集進(jìn)行實驗,驗證了兩個模型在時間效率和準(zhǔn)確性方面各自的優(yōu)勢,然后將分類模型應(yīng)用于電網(wǎng)故障案例文本...

【文章頁數(shù)】：72 頁

【學(xué)位級別】：碩士

【部分圖文】：

?第二章相關(guān)理論與技術(shù)???２．２．１卷積神經(jīng)網(wǎng)絡(luò)??卷積神經(jīng)網(wǎng)絡(luò)作為多層網(wǎng)絡(luò)模型，是一種人工神經(jīng)網(wǎng)絡(luò)，由于卷積神經(jīng)網(wǎng)??絡(luò)在語音和圖像識別領(lǐng)域己經(jīng)被成功訓(xùn)練且取得了巨大突破，使其已經(jīng)成為一個??熱門的研究點(diǎn)。卷積神經(jīng)網(wǎng)絡(luò)的核心特色是是：局部連接、權(quán)值共享和下采樣這??三種思想的....

ＬＳＴＭ在處理文本向量序列數(shù)據(jù)時，能夠從一定程度上體現(xiàn)文本數(shù)據(jù)上下文之間??的抽象語義關(guān)系。這主要依賴于它引入了門機(jī)制用于控制特征的流通和損失。??ＬＳＴＭ是由一系列的ＬＳＴＭ單元組成，其鏈?zhǔn)浇Y(jié)構(gòu)如下圖２－２［？］：??＠?＠?＠??ｔ?ｔ?ｔ??／?Ｎ?＾?ｒ??Ａ?隊?Ａ?＋....

ＬＳＴＭ在處理文本向量序列數(shù)據(jù)時，能夠從一定程度上體現(xiàn)文本數(shù)據(jù)上下文之間??的抽象語義關(guān)系。這主要依賴于它引入了門機(jī)制用于控制特征的流通和損失。??ＬＳＴＭ是由一系列的ＬＳＴＭ單元組成，其鏈?zhǔn)浇Y(jié)構(gòu)如下圖２－２［？］：??＠?＠?＠??ｔ?ｔ?ｔ??／?Ｎ?＾?ｒ??Ａ?隊?Ａ?＋....

Ｃｔ?＝?ｆｔ＊?Ｃｔ＿ａ?＋?ｉｔ＊Ｃｔ?（２?－?１０）??其中ｔａｎｈ激活函數(shù)的曲線圖［４３］如下圖２－４：??１．０?■????０．５?－／??．－??；??！??＜?Ｉ?？?？?？?Ｉ?？?ｔ?１?１?．?．?．?１?Ｉ?？?？?ｔ?．?Ｉ??－１０?－５?ｒ?５?１０....

本文編號：4008675