隨著人工智智能滲入人類自然語(yǔ)言的程度越來(lái)越深,NLP（Natural Language Processing）技術(shù)在人類日常語(yǔ)言處理中諸如文本分類、語(yǔ)種翻譯、詞性標(biāo)注以及命名實(shí)體識(shí)別等領(lǐng)域中扮演著越來(lái)越重要的角色,并取得了令人矚目的成績(jī)。在大數(shù)據(jù)時(shí)代中,人類日常所接觸的語(yǔ)言數(shù)據(jù)集是一堆雜亂的,非均衡的多目標(biāo)學(xué)習(xí)任務(wù)文本數(shù)據(jù)集,與學(xué)術(shù)研究中所使用的標(biāo)準(zhǔn)干凈的、類別數(shù)量均衡的以及單一標(biāo)簽的文本數(shù)據(jù)集不同,本文所研究的敏感文本檢測(cè)實(shí)際上就是一類涉及數(shù)據(jù)非均衡和多目標(biāo)學(xué)習(xí)的文本分類任務(wù),而已有的關(guān)于處理此類任務(wù)的方法中沒(méi)有一個(gè)統(tǒng)一的高效的方法,所以如何在多目標(biāo)非均衡數(shù)據(jù)集上訓(xùn)練出準(zhǔn)確率高的、魯棒性好的模型是至關(guān)重要的。本論文目的就是研究在涉及數(shù)據(jù)非均衡和多目標(biāo)學(xué)習(xí)特性的文本數(shù)據(jù)集中將敏感文本數(shù)據(jù)檢測(cè)（分類）出來(lái),主要的研究工作由四部分組成。（1）對(duì)字符型數(shù)據(jù)進(jìn)行量化操作,將字符型數(shù)據(jù)轉(zhuǎn)換成實(shí)數(shù)型數(shù)據(jù)。引入詞向量的概念,不同于已有的訓(xùn)練詞向量模型——Skip-Gram模型和CBOW模型,因?yàn)檫@些詞向量訓(xùn)練模型并沒(méi)有考慮詞序信息,導(dǎo)致所訓(xùn)練出的詞向量中損失了一部原始數(shù)據(jù)的語(yǔ)義信息,我們需要設(shè)計(jì)出一... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：97 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

文本量化示意圖

圖 2-6 sigmoid 函數(shù)分布圖oid 激活函數(shù)簡(jiǎn)單易懂，可以輸出分類的概率，其在求導(dǎo)的過(guò)身代替，形如公式 2-15 所示。￡ ( ) = ( ) = ( ) ( ) Sigmoid 激活函數(shù)容易發(fā)生飽和而使得梯度彌散，由式 2-的導(dǎo)數(shù)最大值為 1/4，那么在最理想的情況下，梯度在傳播過(guò)為原來(lái)的 1/4，那么隨著層數(shù)的加深，梯度會(huì)趨近于 0，造成情況；Singmoid 激活函數(shù)的輸出不是 0 均值地，這樣會(huì)導(dǎo)致候，在梯度進(jìn)行反向傳播的時(shí)候，梯度也將是全正或全負(fù)的，新的時(shí)候回形成 Z 字型進(jìn)行下降，那么會(huì)導(dǎo)致模型整個(gè)的收斂TanhActive Function 激活函數(shù)[25]是 Sigmoid 函數(shù)的一種變體，其非線性數(shù)學(xué)公式如

圖 2-7 tanh 函數(shù)分布圖活函數(shù)是對(duì) Sigmoid 激活函數(shù)的改進(jìn)，解決了函數(shù)輸出不任然存在梯度彌散的問(wèn)題。eLU Active Function激活函數(shù)[26]針對(duì)于 Sigmoid 函數(shù)以及 Tanh 函數(shù)存在的問(wèn)學(xué)公式如公式 2-17 所示： ( ) =  ( ) 函數(shù)在輸入為非正的情況下輸出全為 0，而在輸入為正的入，其函數(shù)形狀如圖 2-8 所示。相較于 Sigmoid 函數(shù)和在基于 SGD（隨機(jī)梯度下降）算法的時(shí)候，模型收斂速 函數(shù)在求導(dǎo)的時(shí)候不含有任何指數(shù)運(yùn)算，其導(dǎo)數(shù)就是一個(gè)算量。


本文編號(hào)：3348388