人工神經(jīng)網(wǎng)絡由于其超強的非線性映射能力,卓越的學習能力以及其廣泛的用途,成為許多領域的研究熱點.為了提高網(wǎng)絡泛化能力,產(chǎn)生更經(jīng)濟的稀疏網(wǎng)絡,克服梯度型神經(jīng)網(wǎng)絡學習算法收斂速度慢,容易過快陷入局部極小點,且易產(chǎn)生振蕩現(xiàn)象的缺陷.為此本文主要研究帶光滑L1/2正則項的批處理共軛梯度型學習方法.首先提出基于修正割線方程的共軛梯度法,并驗證了該方法求解標準優(yōu)化測試問題的有效性.其次提出雙自適應參數(shù)的共軛梯度法,并對XOR問題搭建神經(jīng)網(wǎng)絡進行測試來驗證算法的有效性.然后將雙自適應參數(shù)的混合共軛梯度法引入BP前饋神經(jīng)網(wǎng)絡訓練,提出帶光滑L1/2正則項的共軛梯度學習方法.最后針對零階Takagi—Sugeno模糊推理系統(tǒng),提出帶光滑L1/2正則項的常值學習率共軛梯度學習方法.本文對于這些方法均進行了收斂性分析,它們在數(shù)值結果上也展示出了不俗表現(xiàn).本文的主要內(nèi)容概括如下:1.第一章緒論部分回顧了神經(jīng)網(wǎng)絡的相關背景知識,介紹了本文的研究目的和研究意義,提出了本文的研究內(nèi)容.2.第二章針對Dai-Yuan（DY）共軛梯度方法具有優(yōu)良的收斂性質但數(shù)值表現(xiàn)一般的特點,結合修正的割線方程,改進某類參數(shù)DY型共軛... 

【文章來源】：大連理工大學遼寧省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：105 頁

【學位級別】：博士

【部分圖文】：

圖１．８三種正則子產(chǎn)生稀疏解可能性示意圖??Ｆｉｇ?１．７?Ｔｈｅ?ｓｐａｒｓｉｔｙ?ｐｒｏｐｅｒｔｙ?ｏｆ?（ａ）?Ｌｉ／２?（ｂ）?Ｌ＼?（ｃ）?Ｌ２?ｒｅｇｕｌａｒｉｚｅｒｓ??

?３．５??Ｘ??圖２．２函數(shù)調(diào)用次數(shù)比較性能圖??Ｆｉｇ?２．２?Ｐｅｒｆｏｒｍａｎｃｅ?ｐｒｏｆｉｌｅ?ｃｏｍｐａｒｉｎｇ?ｔｈｅ?ｎｕｍｂｅｒ?ｏｆ?ｆｕｎｃｔｉｏｎ?ｉｓ?ｃａｌｌｅｄ??－２５?－??

?４??Ｔ??圖２．１迭代次數(shù)比較性能圖??Ｆｉｇ?２．１?Ｐｅｒｆｏｒｍａｎｃｅ?ｐｒｏｆｉｌｅ?ｃｏｍｐａｒｉｎｇ?ｔｈｅ?ｎｕｍｂｅｒ?ｏｆ?ｉｔｅｒａｔｉｏｎｓ??１?１?ｉ?ｉ?ｉ?ｉ?ｉ?￣￣：?ｉ??。＋９＿?，?Ｈ?Ｉ－＿＿ｇ?：??〇－８－?，ｊ?ａＪ?１?＾ｒ￣ｔ?＾?－??ｒ?ｌ?ｔ?ｔｒ－＊??０．７－?Ｘ?Ａ?—?－＾４－１?＿??ｉ?Ｊ?ｆｔｌ?＾??０．６?－?＊?ａＡ?＊－４ｃ—ｓ?－??ｆ?ＡＡ?ｓ－ｔ??＾?ｉ?＊?ｉｓ］??ｐｒｆ＇Ｌｆ?Ｊ．?ｆ??〇－４－ｆ?＊．?ｒ?：ｒ￣ｆｉ????＆Ａ?ｉｌ?ｚ?ｔ?一－ＭＰＣ??＾?ｉ?＊＊?ｓ－Ｊ?￣￣＊￣ＤＹ?＿??４?ｉ．??Ａｗ?ｗ．??ｆ??Ｑ｜?｜?｜?｜?｜?｜?［?Ｉ??０?０．５?１?１．５?２?２．５?３?３．５??Ｘ??圖２．２函數(shù)調(diào)用次數(shù)比較性能圖??Ｆｉｇ?２．２?Ｐｅｒｆｏｒｍａｎｃｅ?ｐｒｏｆｉｌｅ?ｃｏｍｐａｒｉｎｇ?ｔｈｅ?ｎｕｍｂｅｒ?ｏｆ?ｆｕｎｃｔｉｏｎ?ｉｓ?

【參考文獻】：
期刊論文
[1]用于神經(jīng)網(wǎng)絡權值稀疏化的L1/2正則化方法[J]. 吳微,楊潔.  中國科學:數(shù)學. 2015(09)
[2]基于替代函數(shù)及貝葉斯框架的1范數(shù)ELM算法[J]. 韓敏,李德才.  自動化學報. 2011(11)
[3]L1/2正則化[J]. 張海,王堯,常象宇,徐宗本.  中國科學:信息科學. 2010(03)
[4]求解無約束優(yōu)化問題的一類新的下降算法[J]. 潘翠英,陳蘭平.  應用數(shù)學學報. 2007(01)
[5]共軛下降法的全局收斂性[J]. 戴或虹,袁亞湘.  數(shù)學進展. 1996(06)



本文編號：3575124