【摘要】：相對于基于梯度學習的前饋神經網絡,隨機前饋神經網絡(RFNN,Random Feedforward Neural Network)具有更快的學習速度和良好的泛化性能,近年來得到了深入研究與廣泛應用。因隨機設置網絡輸入層權值和隱單元閾值,RFNN存在兩個主要缺陷:(1)相對于基于梯度學習的前饋神經網絡,RFNN需要更多的隱層神經元,增加了網絡復雜性,導致網絡泛化性能降低。(2)非最優(yōu)或非近似最優(yōu)的網絡輸入層權值和隱單元閾值會使RFNN輸出層權值非最優(yōu)或非近似最優(yōu),從而降低網絡的泛化性能。因此,優(yōu)選合適的網絡輸入層權值和隱單元閾值是提高RFNN性能的關鍵。相對于其它啟發(fā)式優(yōu)化算法,粒子群優(yōu)化(PSO,Particle Swarm Optimization)算法需要調整的參數少,無復雜的進化操作,實現簡單,只需較小的演化群體,在很多非線性優(yōu)化問題方面都取得了良好的效果。因此,為克服因隨機設置網絡輸入層權值和隱單元閾值所帶來的缺陷,本文運用PSO分別對單隱層RFNN、集成RFNN和深度RFNN進行優(yōu)化,在提高這三類網絡性能的同時降低它們的復雜度。本文研究為前饋神經網絡性能的提高和群智能優(yōu)化算法的改進提供了新的思路,主要工作包括:1.針對RFNN因隨機設置輸入層網絡權值和隱單元閾值而導致網絡的隱層神經元數目過多、泛化性能不高,提出了一類運用PSO編碼網絡輸入輸出靈敏度信息優(yōu)化單隱層RFNN學習方法(PSOIOS-ELM)。該方法在運用PSO對網絡的輸入層網絡權值和隱單元閾值進行優(yōu)化時,根據網絡在訓練樣本集上的輸入輸出靈敏度信息,調整各粒子的個體歷史最優(yōu)位置和種群的全局最優(yōu)粒子位置,在提高算法收斂精度的前提下,降低網絡的輸入輸出靈敏度。PSOIOS-ELM方法通過合理降低網絡的輸入輸出靈敏度,有效減少隱單元的數目、增加網絡的魯棒性、提高網絡條件性能和泛化性能。在多個回歸和分類問題上的實驗結果驗證了所提出方法的有效性。2.為了克服傳統(tǒng)集成RFNN的缺陷,提出了一類基于雙重優(yōu)化策略的集成隨機前饋神經網絡優(yōu)化學習方法(DO-EOBELM),包括備選RFNN庫的生成、成員RFNN的選擇與集成、冗余成員RFNN的剔除。為了提高備選RFNN的差異性,該方法首先利用生成正交基的方法產生相互正交的RFNN集合,并從中篩選低輸入輸出靈敏度RFNN建立備選RFNN庫;其次,在綜合考慮集成系統(tǒng)的分類性能和差異性的基礎上,利用吸引排斥粒子群優(yōu)化(ARPSO,Attractive and Repulsive Particle Swarm Optimization)算法從備選RFNN庫中篩選成員組成集成系統(tǒng);再次,利用ARPSO對各成員RFNN集成權值進行優(yōu)化;最后,根據集成權值大小剔除集成系統(tǒng)中冗余的成員RFNN,在保證集成系統(tǒng)收斂性能的基礎上提高其緊湊性。在函數回歸、基準數據分類和基因表達譜數據分類等問題上的實驗結果表明,DO-EOBELM方法能夠構建網絡結構更為緊湊、泛化性能更優(yōu)的集成隨機前饋神經網絡系統(tǒng)。3.針對傳統(tǒng)深度RFNN因隨機設置各隱層對應的自動編碼器參數,而使其性能受到影響,提出了一類基于PSO的深度隨機前饋神經網絡優(yōu)化學習方法(PSO-ML-ELM)。該方法首先利用PSO耦合網絡的輸入輸出靈敏度信息,對各隱層對應的自動編碼器的輸入層權值和隱單元閾值進行優(yōu)化,從而通過改善各個自動編碼器的性能來改善深度隨機前饋神經網絡的性能。然后利用PSO對整個深度隨機網絡的權值做簡單優(yōu)化,進一步提高深度隨機前饋神經網絡的性能。在不同的數據集上的實驗結果表明PSO-ML-ELM方法在時間開銷和泛化性能方面有較好的平衡。4.對方法PSOIOS-ELM和DO-EOBELM分別進行了理論分析。針對方法PSOIOS-ELM中輸入輸出靈敏度函數計算量較大的問題,根據網絡隱單元激活函數的導數函數的單調性情況,推導出幾類簡化的網絡輸入輸出靈敏度函數,在保證網絡泛化性能的基礎上降低了網絡的訓練開銷。針對方法DO-EOBELM中剔除集成系統(tǒng)中冗余的子網絡時,閾值難以確定的問題,論文在分類問題上給出了理論分析,為相應閾值的確定提供了理論指導。
【圖文】：

(c)(d)圖3.3 算法PSOIOS-ELM中容忍系數 （lamda）與收斂精度的關系曲線 (a)Sinc (b) Diabetes(c) Satellite Image (d) Image Segmentation

50(d)圖3.4 算法PSOIOS-ELM中容忍系數 （lamda）與網絡輸入輸出靈敏度的關系曲線 (a)Sinc(b) Diabetes (c) Satellite Image (d) Image Segmentation在本章中，算法PSOIOS-ELM中隱單元激活函數為logsig函數，，它們的一階導數函數在 ( ,0)和 ( 0， )上分別單調增加和單調減少，因此算法中網絡的輸入輸出靈敏度按式（3-8）來計算，粒子的個體歷史最優(yōu)也可按式（3-11）來更新，種群的全局最優(yōu)粒子按式（3-12）來更新。為了與本章最初的PSOIOS-ELM進行區(qū)別，此處的算法稱為PSOIOS-ELM-1。表3-6列出了在四個數據集上的實驗結果
【學位授予單位】：江蘇大學
【學位級別】：博士
【學位授予年份】：2019
【分類號】：TP183

【參考文獻】

相關期刊論文 前2條

1 呂柏權,村田純一,平澤宏太郎;使用三層神經元網絡的先驗信息新學習方法[J];中國科學E輯:信息科學;2004年04期

2 吳佑壽,趙明生;激活函數可調的神經元模型及其有監(jiān)督學習與應用[J];中國科學E輯:技術科學;2001年03期

本文編號：2589317