眾所周知,傳統(tǒng)的神經(jīng)網(wǎng)絡的學習效率和學習速度遠遠低于要求,這一點已成為許多應用的主要瓶頸。而寬度學習模型是最近提出的神經(jīng)網(wǎng)絡模型。與傳統(tǒng)的深度神經(jīng)網(wǎng)絡模型不同,寬度學習模型具有扁平化的網(wǎng)絡結構。因此,它可以被快速有效地訓練。但該模型不具備挑選優(yōu)質(zhì)網(wǎng)絡節(jié)點的能力,同時該模型每次增加的網(wǎng)絡節(jié)點是隨機生成的,因此該模型不能有效地通過減少當前網(wǎng)絡殘差來優(yōu)化出新的隱藏層節(jié)點。針對以上兩問題,本文對寬度學習模型進行改進和擴展。一方面從信息論的角度分析寬度學習模型。通過應用新提出的基于矩陣的R（?）nyi信息熵,分析了特征節(jié)點與輸出節(jié)點之間的互信息,結果表明不同節(jié)點的貢獻程度互不相同。因此,提出了一種基于互信息的正交寬度學習模型的特征選擇算法。我們分別在分類和回歸數(shù)據(jù)集上進行實驗,以證明所提出算法的有效性。另一方面,雖然上面提出的改進方法使模型具備了特征選擇能力,但是改進的模型依然不具備學習優(yōu)化能力,因此結合每次降低當前模型的殘差的思想來擴展寬度學習模型。通過每次減少當前網(wǎng)絡模型的殘差來依次優(yōu)化出新的隱藏層網(wǎng)絡節(jié)點,并且使用高斯過程隱變量模型來對原始數(shù)據(jù)進行特征提取。因而提出了一種基于高斯過程隱變量... 

【文章來源】：武漢科技大學湖北省

【文章頁數(shù)】：61 頁

【學位級別】：碩士

【部分圖文】：

函數(shù)鏈接神經(jīng)網(wǎng)絡結構示意圖

武漢科技大學碩士學位論文7圖2.2從圖2.1重新繪制出相同的函數(shù)鏈接網(wǎng)絡結構圖寬度學習模型正是從隨機向量函數(shù)鏈接網(wǎng)絡演化而來，因此可以基于求解Moore-Penrose廣義逆[40]并避免基于梯度下降的學習算法的冗長訓練過程來訓練寬度學習神經(jīng)網(wǎng)絡。寬度學習模型的框架如圖2.3所示。下面介紹寬度學習模型的詳細信息。圖2.3寬度學習模型網(wǎng)絡結構圖如圖2.3所示，輸入數(shù)據(jù)用表示，其中N是輸入樣本個數(shù)，D是輸入數(shù)據(jù)維度。輸出標簽用Y表示，其中d是輸出數(shù)據(jù)的維度。洸表示從輸入數(shù)據(jù)映射到特征層的洸個特征節(jié)點，并且映射函數(shù)定義如下：

武漢科技大學碩士學位論文9圖2.4模型動態(tài)擴展示意圖以下將結合函數(shù)鏈接神經(jīng)網(wǎng)絡的擴展方法，來介紹寬度學習模型的動態(tài)擴展方法。在傳統(tǒng)的神經(jīng)網(wǎng)絡模型中，網(wǎng)絡的結構是固定的，需要優(yōu)化參數(shù)以獲得更好的性能。相反寬度學習模型的參數(shù)是隨機選擇和固定的，并且通過增加增強節(jié)點的數(shù)量來優(yōu)化模型的結構。以下是動態(tài)增量更新算法的簡要介紹。對于已經(jīng)訓練好的的寬度學習模型，假定將新增加的增強節(jié)點添加到增強層。新添加的節(jié)點可以表示為：洸h洸h洸h其中權重洸h和洸h也是隨機生成的。因此，矩陣t應該更新為：tt洸h洸h其中洸h和洸h是隨機生成的將特征節(jié)點連接到其他增強層節(jié)點的權重和偏置。然后，可以通過以下公式計算出寬度學習模型新的輸出權重：洸tt洸th其中矩陣t的偽逆如下：


本文編號：3527940