文本分類是自然語言處理領域的一個重要研究課題,其主要任務是將輸入文本自動歸類。隨著互聯(lián)網(wǎng)技術的快速發(fā)展,如今全世界每時每刻都有數(shù)以億計的文本信息在互聯(lián)網(wǎng)中產生,其中主要以一般不超過160個字符的社交媒體博文、論壇回帖、網(wǎng)絡問答和商品評論等短文本為主。如何高效準確的對海量短文本信息自動化分類已成為當前一個非常具有挑戰(zhàn)性的任務,受到了研究人員的廣泛關注。近些年來,基于深度學習（尤其是卷積神經網(wǎng)絡）的短文本分類關鍵技術研究取得了長足的進展和爆發(fā)式的突破,但以下問題仍然存在:（1）傳統(tǒng)文本特征表示方法受數(shù)據(jù)集大小及文本長度影響較大,容易造成維度爆炸、特征冗余或特征稀疏等問題,現(xiàn)有的單語義詞向量方法沒有考慮詞的多義性,多語義詞向量方法在計算時沒能有效利用語境中詞序、句法結構、詞間距等信息對詞的語義表達的影響;（2）短文本的長度普遍較短、提供的語義信息有限,因而現(xiàn)有的卷積神經網(wǎng)絡模型對短文本抽象特征的抽取不充分,如何對卷積神經網(wǎng)絡的結構進行改進,使其更適合處理短文本數(shù)據(jù)仍是一個亟待解決的問題;（3）整流線性單元（Rectified Linear Unit,ReLU）具有容易發(fā)生偏移（bias sh... 

【文章來源】：戰(zhàn)略支援部隊信息工程大學河南省

【文章頁數(shù)】：93 頁

【學位級別】：碩士

【部分圖文】：

詞向量的使用方法示意圖

戰(zhàn)略支援部隊信息工程大學碩士學位論文第10頁1.4.3面向短文本分類的CNN模型面向短文本分類任務的卷積神經網(wǎng)絡的核心在于卷積和時序最大池化（Max-over-timePooling）操作。標準卷積神經網(wǎng)絡主要由卷積層、池化層、全連接層和Softmax輸出層組成。圖3所示為一個面向短文本分類的具有單通道卷積核的標準卷積神經網(wǎng)絡。該網(wǎng)絡有兩個窗口尺寸分別為2和3的單通道卷積核。輸入是具有兩個通道的詞向量矩陣。這里卷積核的維度和詞向量的維度相等，窗口尺寸代表每個卷積核每次可以卷積多少個單詞的詞向量（也可看作是對N-gram特征的抽�。r序最大池化是對每個卷積核生成的特征圖進行最大池化操作。圖3中的卷積神經網(wǎng)絡的卷積核是單通道的，也就是說卷積核需要分別到兩個通道上的詞向量矩陣進行卷積。圖3面向短文本分類的標準卷積神經網(wǎng)絡結構1.4.4性能評價指標文本分類常使用準確率或錯誤率作為分類器的性能評價指標。準確率和錯誤率的定義如下：1Acc11niinniiiiTPTF(1-4)

戰(zhàn)略支援部隊信息工程大學碩士學位論文第12頁對數(shù)轉換對ReLU輸入大于0的部分進行改進。NLReLU可以在不同的網(wǎng)絡上進行微調、將每個隱藏層的激活均值推至接近0并減少方差、縮小了大多數(shù)梯度并使梯度難以進入飽和區(qū)域。NLReLU具有降低層間數(shù)據(jù)分布的偏移效應和異方差異性、一定程度上緩解神經元容易死亡問題和梯度消失問題等優(yōu)點。實驗表明，該方法可提高模型的收斂性能、加速學習進程并且能夠對基于標準CNN和AGCNN的短文本分類準確率有所改善，例如在CNN-static上換用NLReLU帶來平均0.15%，最高0.29%的改善；在AGCNN-static上換用NLReLU帶來平均0.17%，最高0.68%的改善。（4）最后，提出一種基于特征圖共享和全連接層權重共享來改善卷積神經網(wǎng)絡的優(yōu)化方法。針對當前優(yōu)化方法容易增加模型參數(shù)，增加模型計算復雜度并使模型難以訓練，抗噪聲能力差及生物激活解釋比較勉強等問題，本文提出一種通過特征圖共享及全連接層權重共享，來降低特征圖噪聲和改善卷積神經網(wǎng)絡收斂性能的優(yōu)化方法——N折疊加法。該方法沒有顯著增加網(wǎng)絡參數(shù)。本文通過費馬引理及多元函數(shù)的極值判定等定理證明了N折疊加法可以通過構建更多損失函數(shù)的全局極小值點，使模型更容易收斂并提高網(wǎng)絡性能。實驗表明，該方法可顯著降低FM噪聲、加快模型收斂速度，對基于標準CNN的短文本分類準確率有平均0.27%~0.40%、最高0.63%~0.76%的改善。論文的研究思路以及對應的組織結構如圖4所示。圖4論文的研究思路和組織結構圖1.5.2論文組織結構第一章首先介紹了研究的背景及意義。從文本表示方法、模型構建和模型優(yōu)化方法三

【參考文獻】：
期刊論文
[1]移動環(huán)境下網(wǎng)絡輿情研究進展及述評[J]. 魏靜,劉莉,林萍,宋瑞曉.  情報雜志. 2018(09)
[2]情報分析模型綜述[J]. 徐敏,李廣建.  情報理論與實踐. 2018(02)
[3]文本情緒分析綜述[J]. 李然,林政,林海倫,王偉平,孟丹.  計算機研究與發(fā)展. 2018(01)
[4]虛假評論檢測研究綜述[J]. 李璐旸,秦兵,劉挺.  計算機學報. 2018(04)
[5]語義分析在反恐研究領域的應用研究[J]. 孟璽,周西平,吳紹忠.  情報雜志. 2017(03)
[6]文本主題識別關鍵技術研究綜述[J]. 許海云,董坤,劉春江,王超,王振蒙.  情報科學. 2017(01)
[7]圖像理解中的卷積神經網(wǎng)絡[J]. 常亮,鄧小明,周明全,武仲科,袁野,楊碩,王宏安.  自動化學報. 2016(09)
[8]基于文檔頻率的特征選擇方法[J]. 楊凱峰,張毅坤,李燕.  計算機工程. 2010(17)
[9]基于機器學習的文本分類方法綜述[J]. 陳祎荻,秦玉平.  渤海大學學報(自然科學版). 2010(02)
[10]基于互信息的文本特征選擇方法研究與改進[J]. 劉健,張維明.  計算機工程與應用. 2008(10)

碩士論文
[1]我國網(wǎng)絡反恐的現(xiàn)狀與改進策略研究[D]. 夏菁.南昌大學 2017



本文編號：3433227