目前,深度神經(jīng)網(wǎng)絡(luò)已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn),其本質(zhì)上是一個(gè)特征提取的過(guò)程,最大的優(yōu)勢(shì)在于允許由多個(gè)隱含層組成的計(jì)算模型逐層抽象自動(dòng)對(duì)數(shù)據(jù)進(jìn)行特征提取,學(xué)習(xí)具有代表性和判別性的特征。另外,深度神經(jīng)網(wǎng)絡(luò)能夠使用較少的參數(shù)表示更復(fù)雜的函數(shù),對(duì)于新的應(yīng)用可以從訓(xùn)練數(shù)據(jù)中快速學(xué)習(xí)得到有效的特征表達(dá),極大地改進(jìn)了語(yǔ)音識(shí)別、視覺(jué)對(duì)象識(shí)別、目標(biāo)檢測(cè)等許多其它領(lǐng)域的技術(shù)。本文針對(duì)基于深度神經(jīng)網(wǎng)絡(luò)的特征提取算法進(jìn)行了分析和研究,論文的主要內(nèi)容有以下三個(gè)方面:（1）針對(duì)深度信念網(wǎng)絡(luò)（DBN）在微調(diào)過(guò)程中易受訓(xùn)練參數(shù)影響的問(wèn)題,提出一種基于批量正則化的DBN（BNDBN）方法。該方法首先利用DBN進(jìn)行無(wú)監(jiān)督學(xué)習(xí)以獲得原始數(shù)據(jù)的高層次表達(dá);然后通過(guò)批量正則化算法中尺度變換和平移變換參數(shù)對(duì)網(wǎng)絡(luò)中間層的輸出特征每一維進(jìn)行批量正則化處理;并將處理后的特征輸入到非線性變換激活層中;最后使用小批量隨機(jī)梯度下降法對(duì)仿射變換參數(shù)以及原始網(wǎng)絡(luò)的參數(shù)進(jìn)行分批訓(xùn)練學(xué)習(xí),可以進(jìn)一步地提升網(wǎng)絡(luò)的訓(xùn)練效率。BNDBN方法減少了梯度對(duì)參數(shù)規(guī)模的依賴性,通過(guò)變換重構(gòu)可以恢復(fù)原始網(wǎng)絡(luò)所學(xué)習(xí)的特征分布,有效解決了因網(wǎng)絡(luò)參數(shù)變化而造成的... 

【文章來(lái)源】：江南大學(xué)江蘇省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：81 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

深度學(xué)習(xí)原理

第二章 深度神經(jīng)網(wǎng)絡(luò)及其相關(guān)模型時(shí)代，模式識(shí)別、圖像處理方向開(kāi)始轉(zhuǎn)向結(jié)合深度學(xué)習(xí)（Deep Learn相關(guān)研究，而深度神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)技術(shù)的主要模型。基于深度神算法主要是通過(guò)模型仿照生物神經(jīng)系統(tǒng)機(jī)制提取信息特征，篩選數(shù)據(jù)度神經(jīng)網(wǎng)絡(luò)在提取圖像、聲音、文字等信息的特征時(shí)，具有優(yōu)異的重介紹深度神經(jīng)網(wǎng)絡(luò)的基本思想及其相關(guān)模型的網(wǎng)絡(luò)結(jié)構(gòu)。的提取式識(shí)別中，特征主要用來(lái)描述和表示所研究的事物。算法從數(shù)據(jù)中提響模型的表現(xiàn)能力，如何有效提取符合數(shù)據(jù)分布結(jié)構(gòu)的特征一直是該題。傳統(tǒng)的特征提取方法大多是根據(jù)不同的任務(wù)和數(shù)據(jù)設(shè)計(jì)選擇特征SIFT[53]、局部二進(jìn)制模式[54]等。然而設(shè)計(jì)一個(gè)好的特征并不簡(jiǎn)單，尤況下，不僅費(fèi)時(shí)費(fèi)力，而且要求研究者具備啟發(fā)式專(zhuān)業(yè)知識(shí)，很大程氣，否則有可能提取到缺乏泛化性的特征。隨著認(rèn)知生物學(xué)和神經(jīng)學(xué)一種可以自動(dòng)學(xué)習(xí)特征描述的方法成為學(xué)者們研究的重點(diǎn)。

圖 3-3 MNIST 數(shù)據(jù)庫(kù) 10 類(lèi)部分圖像示例，初始學(xué)習(xí)率的選擇比較慎重，過(guò)大或者過(guò)小經(jīng)過(guò)大量實(shí)驗(yàn)來(lái)選擇合適的學(xué)習(xí)率，為了測(cè)試固定的情況下，改變學(xué)習(xí)率在區(qū)間[0.0005,0 Dropout-DBN、DBN 和 ANN 算法進(jìn)行實(shí)驗(yàn).10.15.20.25.30.35BNDBNDropoutDDBNANN

【參考文獻(xiàn)】：
期刊論文
[1]基于隨機(jī)Dropout深度信念網(wǎng)絡(luò)的移動(dòng)用戶行為識(shí)別方法[J]. 王忠民,王希,宋輝.  計(jì)算機(jī)應(yīng)用研究. 2017(12)
[2]面向自然語(yǔ)言處理的深度學(xué)習(xí)研究[J]. 奚雪峰,周?chē)?guó)棟.  自動(dòng)化學(xué)報(bào). 2016(10)
[3]深度學(xué)習(xí):多層神經(jīng)網(wǎng)絡(luò)的復(fù)興與變革[J]. 山世光,闞美娜,劉昕,劉夢(mèng)怡,鄔書(shū)哲.  科技導(dǎo)報(bào). 2016(14)
[4]深度學(xué)習(xí)研究進(jìn)展[J]. 劉建偉,劉媛,羅雄麟.  計(jì)算機(jī)應(yīng)用研究. 2014(07)
[5]深度學(xué)習(xí)研究綜述[J]. 孫志軍,薛磊,許陽(yáng)明,王正.  計(jì)算機(jī)應(yīng)用研究. 2012(08)

博士論文
[1]基于深度學(xué)習(xí)的跨模態(tài)檢索研究[D]. 馮方向.北京郵電大學(xué) 2015

碩士論文
[1]基于深度學(xué)習(xí)的人臉識(shí)別算法研究[D]. 王飛.蘭州交通大學(xué) 2017
[2]基于深度學(xué)習(xí)的圖像分類(lèi)算法研究[D]. 房雪鍵.遼寧大學(xué) 2016
[3]基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)模型及其應(yīng)用[D]. 張艷霞.電子科技大學(xué) 2016
[4]基于自動(dòng)編碼器的半監(jiān)督表示學(xué)習(xí)與分類(lèi)學(xué)習(xí)研究[D]. 吳海燕.重慶大學(xué) 2015



本文編號(hào)：3412107