本文關鍵詞：多隱層前饋神經(jīng)網(wǎng)絡的隨機賦權(quán)訓練算法研究

  更多相關文章： 模式分類 深度學習 極速學習機 分類器集成 廣義逆

【摘要】：智能軟件系統(tǒng)已成為軟件工程領域最重要的研發(fā)對象之一。無論是學術界還是工業(yè)界,都對能使軟件智能化的算法產(chǎn)生了濃厚的興趣。其中,與模式分類有關的算法更是得到了業(yè)內(nèi)的廣泛關注,通過對分類算法的研究、優(yōu)化與創(chuàng)新,使得軟件智能化的水平得到了顯著的提高。最近幾年,人工神經(jīng)網(wǎng)絡在理論上和應用上的突破都引人矚目,尤其是深層神經(jīng)網(wǎng)絡的優(yōu)越性正逐漸被人們所認可,國內(nèi)外很多學者都致力于深層神經(jīng)網(wǎng)絡的研究工作,并提出了大量的優(yōu)秀算法。深層神經(jīng)網(wǎng)絡模型的種類很多,根據(jù)訓練算法來分,其中有兩類,第一類是基于貪婪算法的逐層預訓練的深層神經(jīng)網(wǎng)絡模型;第二種是通過隨機賦權(quán)方法來構(gòu)造的深層神經(jīng)網(wǎng)絡模型。本文第一部分的工作主要研究了兩類深層神經(jīng)網(wǎng)絡模型中具有代表性的兩個模型。其中,基于受限玻爾茲曼機逐層預訓練的方法是深度學習的主要方法之一,該方法通過借助物理能量模型來對網(wǎng)絡中每一層的參數(shù)進行預訓練,之后逐層疊加成深度置信網(wǎng)絡,通過在最后一層加上softmax層輸出網(wǎng)絡的分類結(jié)果,然后進行網(wǎng)絡精調(diào),本文以這個方法為基礎,結(jié)合廣義逆的知識對該方法進行了簡化的工作,并進行比較研究;另外,用基于極速學習機的原理來訓練得到的深層網(wǎng)絡是典型的深層隨機賦權(quán)網(wǎng)絡,該類型的網(wǎng)絡以效率著稱,并在工業(yè)界得到了廣泛的應用。本文第二部分的主要工作是對分類器集成方法的研究,并且利用分類器集成的方法將深層神經(jīng)網(wǎng)絡模型進行集成,并將這種方法與深度學習、深度隨機賦權(quán)網(wǎng)絡進行了比較研究。在本文的實驗部分,為了使得對比分析結(jié)果具有客觀性,本文選取了多個不同領域的分類數(shù)據(jù)集,并且涵蓋了數(shù)值型和符號型兩類數(shù)據(jù)集,本文通過對深層神經(jīng)網(wǎng)絡、淺層神經(jīng)網(wǎng)絡和本文方法在測試精度、訓練時間以及模型的擬合程度等多個方面進行比較研究,得出了一些具有一定參考價值的結(jié)論。
【關鍵詞】：模式分類 深度學習 極速學習機 分類器集成 廣義逆
【學位授予單位】：河北大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP183
【目錄】：

• 摘要5-6
• Abstract6-10
• 第1章 緒論10-15
• 1.1 研究背景和意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀及分析11-13
• 1.3 主要研究內(nèi)容13
• 1.4 論文結(jié)構(gòu)13-15
• 第2章 相關知識15-23
• 2.1 神經(jīng)網(wǎng)絡算法15-20
• 2.1.1 神經(jīng)網(wǎng)絡算法概述15-17
• 2.1.2 誤差反向傳播算法17-19
• 2.1.3 訓練算法優(yōu)化19-20
• 2.2 分類器集成方法20-22
• 2.2.1 分類器集成模型20-21
• 2.2.2 基于模糊積分的集成方法21-22
• 2.3 本章小結(jié)22-23
• 第3章 深度學習23-37
• 3.1 深層神經(jīng)網(wǎng)絡23-24
• 3.2 受限玻爾茲曼機24-30
• 3.2.1 Gibbs采樣25-26
• 3.2.2 RBM的訓練方法26-30
• 3.3 深層置信網(wǎng)絡30-32
• 3.4 基于廣義逆的改進方法32-35
• 3.5 本章小結(jié)35-37
• 第4章 深層隨機賦權(quán)網(wǎng)絡集成方法37-47
• 4.1 極速學習機37-38
• 4.2 多層隨機賦權(quán)網(wǎng)絡38-42
• 4.2.1 自動編碼器38-40
• 4.2.2 基于ELM的自動編碼器40-41
• 4.2.3 基于ELM-Autoencoder的多層隨機賦權(quán)神經(jīng)網(wǎng)絡41-42
• 4.3 分類器的集成方法42-46
• 4.3.1 C-ML-RWN算法介紹42-44
• 4.3.2 C-ML-RWN算法實現(xiàn)44-46
• 4.4 本章小結(jié)46-47
• 第5章 實驗結(jié)果及分析47-56
• 5.1 實驗數(shù)據(jù)集47-49
• 5.2 實驗設計與實驗結(jié)果49-53
• 5.3 實驗分析53-55
• 5.4 本章小結(jié)55-56
• 第6章 總結(jié)與展望56-57
• 6.1 本文總結(jié)56
• 6.2 工作展望56-57
• 參考文獻57-61
• 致謝61-62
• 攻讀學位期間取得的科研成果62

，

本文編號：908189