近年來(lái),人工智能界見證了深度學(xué)習(xí)算法的崛起。利用網(wǎng)絡(luò)深度的優(yōu)勢(shì),深度學(xué)習(xí)在諸多領(lǐng)域都展現(xiàn)了優(yōu)異的性能,在某些領(lǐng)域更是超越了人類的水平。但隨著研究的深入,深度學(xué)習(xí)也逐漸面臨諸多挑戰(zhàn),主要有1):隨著深度的不斷增加,梯度消失問(wèn)題在深度學(xué)習(xí)中逐步凸顯,不僅使得深度學(xué)習(xí)的訓(xùn)練難度陡增,更限制甚至惡化了其性能表現(xiàn);2)深度學(xué)習(xí)特別依賴海量數(shù)據(jù)的支持,然而,為其準(zhǔn)備海量數(shù)據(jù)的過(guò)程卻異常耗時(shí)耗力,致使深度學(xué)習(xí)普遍面臨著數(shù)據(jù)不足的問(wèn)題。針對(duì)上述兩大問(wèn)題,本文以提高文本分類中深度學(xué)習(xí)的性能為總目標(biāo),分別提出如下三大創(chuàng)新點(diǎn)予以回應(yīng):1):針對(duì)深度學(xué)習(xí)中的梯度消失問(wèn)題,本文通過(guò)融合Highway Net和Dense Net這兩種深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的方式,提出了稱為Highway-DC的新式深度神經(jīng)網(wǎng)絡(luò)架構(gòu)。Highway-DC利用Highway Net中的Highway算法來(lái)控制Dense Net中的密集連接（Dense Connection）,從而成功地將這兩大架構(gòu)合二為一。此外,本文進(jìn)一步提出了一種改進(jìn)的Highway算法,命名為Highway II,其可以保護(hù)每層網(wǎng)絡(luò)輸入與輸出彼此的獨(dú)立性。以此為基礎(chǔ)的... 

【文章來(lái)源】：南京郵電大學(xué)江蘇省

【文章頁(yè)數(shù)】：84 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

人工智能在現(xiàn)代社會(huì)具有廣泛的應(yīng)用場(chǎng)景就算力而言，自2012年起，隨著GPU、FPGA和分布式運(yùn)算等技術(shù)的蓬勃發(fā)展，通用計(jì)

南京郵電大學(xué)碩士研究生學(xué)位論文第一章緒論2如圖1.2所示，與人腦一樣，深度學(xué)習(xí)所使用的神經(jīng)網(wǎng)絡(luò)層數(shù)很多，即“深度”很大，因此，深度學(xué)習(xí)又叫深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetworks，DNN）。DNN能夠在海量數(shù)據(jù)中由低到高逐級(jí)進(jìn)行特征提取，從而擁有建立復(fù)雜映射的能力，有助于處理更復(fù)雜的問(wèn)題[10-11]。因此，近年來(lái)深度學(xué)習(xí)取得了空前的成功，在一些復(fù)雜任務(wù)上甚至超越了人類的水平[21-23]。例如，在2015年ImageNet挑戰(zhàn)賽上，由微軟開發(fā)的ResNet在圖像識(shí)別上的錯(cuò)誤率已低至4.94%，而人類平均為5.1%，實(shí)現(xiàn)了對(duì)人類的首次超越[12]；無(wú)獨(dú)有偶，2016年3月，DeepMind公司開發(fā)的AlphaGo[13]與韓國(guó)圍棋手李世石展開人機(jī)大戰(zhàn)，最后以4比1的總比分獲勝。半年后，AlphaGo改名Master，繼續(xù)與中日韓三國(guó)數(shù)十位圍棋高手進(jìn)行對(duì)決，并取得連勝60局的戰(zhàn)績(jī)[14]。最后，2017年5月，AlphaGo再次與世界圍棋冠軍柯潔對(duì)戰(zhàn)，以3比0的絕對(duì)優(yōu)勢(shì)獲勝。由此，圍棋界公認(rèn)AlphaGo的棋力已經(jīng)超過(guò)人類的頂尖水平[15]。RestNet和AlphaGo的成功向世人證明了深度學(xué)習(xí)的強(qiáng)大。圖1.2人腦（左）與深度學(xué)習(xí)模型（右）的可視化效果圖作為三大要素之一，數(shù)據(jù)對(duì)于人工智能的發(fā)展至關(guān)重要，更多的數(shù)據(jù)往往意味著更好的性能[20]。值得一提的是，相較傳統(tǒng)機(jī)器學(xué)習(xí)（MachineLearning，ML），深度學(xué)習(xí)在處理海量數(shù)據(jù)上更具優(yōu)勢(shì)[9]。圖1.3展示了傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)在不同數(shù)據(jù)量下的性能表現(xiàn)。從圖1.3可知，隨著數(shù)據(jù)量的不斷增加，機(jī)器學(xué)習(xí)的性能首先達(dá)到飽和。而深度學(xué)習(xí)的性能卻可不斷得以提高，且沒有明顯減緩的趨勢(shì)。隨著大數(shù)據(jù)時(shí)代的到來(lái)，深度學(xué)習(xí)的這一優(yōu)勢(shì)也越來(lái)越受到研究人員的重視，并把部署更多數(shù)據(jù)作為提升其性能的重要途徑[36]。例如，F(xiàn)acebook開發(fā)的人臉識(shí)別

南京郵電大學(xué)碩士研究生學(xué)位論文第一章緒論3度學(xué)習(xí)性能的有效途徑。圖1.3不同數(shù)據(jù)下機(jī)器學(xué)習(xí)和深度學(xué)習(xí)性能趨勢(shì)圖圖1.4深度學(xué)習(xí)在不同數(shù)據(jù)量級(jí)下的性能變化[17]雖然大數(shù)據(jù)時(shí)代涌現(xiàn)出海量的數(shù)據(jù)，但這些數(shù)據(jù)需要經(jīng)人工處理后才可使用，事實(shí)上開發(fā)一個(gè)大規(guī)模數(shù)據(jù)集異常耗時(shí)耗力[21-22]，一般機(jī)構(gòu)難以擁有像Facebook和Google那樣的實(shí)力去開發(fā)一套大規(guī)模數(shù)據(jù)集。由此，盡管處于大數(shù)據(jù)時(shí)代，適合深度學(xué)習(xí)使用的數(shù)據(jù)卻并不多[23]。數(shù)據(jù)量不足仍是深度學(xué)習(xí)所面臨的一大難題，不僅使深度學(xué)習(xí)容易陷入過(guò)擬合狀態(tài)，而且大大削弱了其性能[24-25]。文本分類是自然語(yǔ)言處理（NaturalLanguageProcessing，NLP）中一個(gè)重要且經(jīng)典的任務(wù)[27]。文本分類的主要任務(wù)是根據(jù)文本的內(nèi)容，將其歸類到預(yù)先設(shè)定好的一個(gè)或多個(gè)類別中

【參考文獻(xiàn)】：
期刊論文
[1]池化和注意力相結(jié)合的新聞文本分類方法[J]. 陶永才,楊朝陽(yáng),石磊,衛(wèi)琳.  小型微型計(jì)算機(jī)系統(tǒng). 2019(11)
[2]基于卷積神經(jīng)網(wǎng)絡(luò)的圖像數(shù)據(jù)增強(qiáng)算法[J]. 蔣蕓,張海,陳莉,陶生鑫.  計(jì)算機(jī)工程與科學(xué). 2019(11)
[3]一種基于神經(jīng)網(wǎng)絡(luò)與LDA的文本分類算法[J]. 牛碩碩,柴小麗,李德啟,謝彬.  計(jì)算機(jī)工程. 2019(10)
[4]基于生成對(duì)抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法[J]. 張曉峰,吳剛.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2019(10)
[5]用于短文本分類的DC-BiGRUCNN模型[J]. 鄭誠(chéng),薛滿意,洪彤彤,宋飛豹.  計(jì)算機(jī)科學(xué). 2019(11)
[6]用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的設(shè)計(jì)[J]. 王紅霞,周家奇,辜承昊,林泓.  浙江大學(xué)學(xué)報(bào)(工學(xué)版). 2019(07)
[7]卷積神經(jīng)網(wǎng)絡(luò)CNN算法在文本分類上的應(yīng)用研究[J]. 侯小培,高迎.  科技與創(chuàng)新. 2019(04)
[8]淺析人工智能技術(shù)在維護(hù)國(guó)家安全方面的應(yīng)用[J]. 王召偉.  信息系統(tǒng)工程. 2018(12)
[9]大數(shù)據(jù)時(shí)代人工智能技術(shù)在農(nóng)業(yè)領(lǐng)域的研究進(jìn)展[J]. 陳桂芬,李靜,陳航,安宇.  吉林農(nóng)業(yè)大學(xué)學(xué)報(bào). 2018(04)
[10]深度學(xué)習(xí)研究現(xiàn)狀分析[J]. 王菲斐.  電子技術(shù)與軟件工程. 2018(10)

碩士論文
[1]基于神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制結(jié)合的語(yǔ)音情感識(shí)別研究[D]. 盧艷.北京郵電大學(xué) 2019



本文編號(hào)：3472074