本文關(guān)鍵詞：基于近域去重法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法

  更多相關(guān)文章： BP神經(jīng)網(wǎng)絡(luò) 最優(yōu)化理論 啟發(fā)式算法 全局最優(yōu) 爬坡法 近域去重法

【摘要】：神經(jīng)網(wǎng)絡(luò)算法今年來(lái)被國(guó)內(nèi)外學(xué)者大量的研究和討論,在學(xué)術(shù)領(lǐng)域中屬于智能算法和人工智能的重要組成部分,其被廣泛的用于機(jī)器學(xué)習(xí)、模式識(shí)別、數(shù)據(jù)挖掘領(lǐng)域等領(lǐng)域,不僅如此,神經(jīng)網(wǎng)絡(luò)算法因?yàn)閺?qiáng)大的建模能力,也快速的蔓延向其他學(xué)科。本文重點(diǎn)研究最具有代表性的BP神經(jīng)網(wǎng)絡(luò)算法,從單神經(jīng)元的線性擬合能力開(kāi)始到多層多神經(jīng)元的非線性的問(wèn)題解決的論證,經(jīng)過(guò)對(duì)BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo),詳細(xì)的解釋了算法原理,在這個(gè)過(guò)程中暴露出了算法各方面的缺點(diǎn),比如梯度下降法收斂慢,訓(xùn)練時(shí)間長(zhǎng)等問(wèn)題。論文針對(duì)這些缺點(diǎn),介紹并研究了大量學(xué)者的改進(jìn)工作,其中最重要的將BP神經(jīng)網(wǎng)絡(luò)算法中的目標(biāo)函數(shù)最小值的求解問(wèn)題單獨(dú)抽象出來(lái),成為無(wú)約束非線性的最優(yōu)化問(wèn)題,由此引入最優(yōu)化理論來(lái)對(duì)此進(jìn)行了深入的研究,利用理論中的牛頓法、擬牛頓法、共軛梯度法來(lái)計(jì)算目標(biāo)函數(shù)最值的方向,結(jié)合線搜索法和信賴(lài)域方法確定該方向上的步長(zhǎng),解決了梯度下降的固有問(wèn)題；對(duì)于激活函數(shù)的介紹了其選擇標(biāo)準(zhǔn)和近期提出的一些更利于收斂的新型函數(shù)方程；針對(duì)學(xué)習(xí)速率和動(dòng)量因子介紹了一些自適應(yīng)的方法,可以隨著神經(jīng)網(wǎng)絡(luò)訓(xùn)練而改變自身以更優(yōu)于收斂；針對(duì)目標(biāo)函數(shù)的解搜索策略,引入了一些啟發(fā)式的算法如遺傳算法和模擬退火算法,從另一方面來(lái)搜索解空間,最終也能得到不錯(cuò)的收斂；此外還討論了網(wǎng)絡(luò)結(jié)構(gòu)和初始值的選擇。經(jīng)過(guò)這些研究,BP神經(jīng)網(wǎng)絡(luò)的各個(gè)組成部分如同零件可以按需拆解和組合,對(duì)于BP神經(jīng)網(wǎng)絡(luò)的了解更加深入。論文特別的針對(duì)BP神經(jīng)網(wǎng)絡(luò)算法難以跳出局部最優(yōu)點(diǎn)的缺點(diǎn),先找到該問(wèn)題存在的根源,介紹了現(xiàn)有的解決方案,之后提出了近域去重法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法,利用爬坡法和遺傳算法搜索解空間,并使用近域去重法來(lái)去掉重復(fù)的解。文中對(duì)這種方法進(jìn)行了詳細(xì)的介紹,之后結(jié)合擬牛頓下降法和Levenberg-Marquardt法用以改進(jìn)BP神經(jīng)網(wǎng)絡(luò),使用足夠的實(shí)驗(yàn)對(duì)比的方式來(lái)證明新算法的優(yōu)勢(shì),對(duì)比結(jié)果說(shuō)明,改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法擁有更強(qiáng)大的收斂能力,其最終得到的解優(yōu)于最開(kāi)始得到的局部最優(yōu)解,驗(yàn)證了所提出方法的有效性。
【關(guān)鍵詞】：BP神經(jīng)網(wǎng)絡(luò) 最優(yōu)化理論 啟發(fā)式算法 全局最優(yōu) 爬坡法 近域去重法
【學(xué)位授予單位】：安徽大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP183
【目錄】：

• 摘要3-5
• Abstract5-9
• 第一章 緒論9-12
• 1.1 論文研究的背景9-10
• 1.2 研究的目的和意義10
• 1.3 組織結(jié)構(gòu)與研究?jī)?nèi)容10-12
• 第二章 BP神經(jīng)網(wǎng)絡(luò)相關(guān)知識(shí)12-26
• 2.1 神經(jīng)網(wǎng)絡(luò)起源12-20
• 2.1.1 人工神經(jīng)網(wǎng)絡(luò)12-13
• 2.1.2 感知器與線性問(wèn)題13-14
• 2.1.3 sgimod函數(shù)與非線性問(wèn)題14-18
• 2.1.4 學(xué)習(xí)算法18-20
• 2.2 BP神經(jīng)網(wǎng)絡(luò)20-26
• 2.2.1 BP算法的推導(dǎo)21-22
• 2.2.2 BP算法步驟和流程圖22-24
• 2.2.3 BP神經(jīng)網(wǎng)絡(luò)算法的缺陷24-26
• 第三章 BP神經(jīng)網(wǎng)絡(luò)改進(jìn)研究現(xiàn)狀26-46
• 3.1 基于最優(yōu)化理論的改進(jìn)26-35
• 3.1.1 牛頓法26-27
• 3.1.2 線搜索法27-29
• 3.1.3 信賴(lài)域算法29-30
• 3.1.4 擬牛頓法30-32
• 3.1.5 共軛梯度法32-34
• 3.1.6 最優(yōu)化方法總結(jié)34-35
• 3.2 學(xué)習(xí)速率35-37
• 3.3 動(dòng)量因子37
• 3.4 激活函數(shù)37-40
• 3.5 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與初始值40-42
• 3.6 啟發(fā)式算法42-46
• 3.6.1 遺傳算法43-44
• 3.6.2 模擬退火算法44
• 3.6.3 啟發(fā)式算法總結(jié)44-46
• 第四章 近域去重法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法46-62
• 4.1 背景知識(shí)46-47
• 4.2 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法47-53
• 4.2.1 爬坡法48-49
• 4.2.2 遺傳算法搜索法49-50
• 4.2.3 近域去重法50-51
• 4.2.4 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法51-53
• 4.3 實(shí)驗(yàn)53-62
• 4.3.1 數(shù)據(jù)集介紹53-54
• 4.3.2 實(shí)驗(yàn)步驟54
• 4.3.3 MNTST數(shù)據(jù)集實(shí)驗(yàn)情況54-58
• 4.3.4 Abalone數(shù)據(jù)集實(shí)驗(yàn)情況58-61
• 4.3.5 實(shí)驗(yàn)結(jié)論61-62
• 第五章 總結(jié)與展望62-64
• 5.1 本文總結(jié)62-63
• 5.2 研究展望63-64
• 參考文獻(xiàn)64-69
• 附錄A 圖索引69-70
• Appendix A Figure index70-71
• 致謝71-73
• 攻讀碩士學(xué)位期間發(fā)表的學(xué)術(shù)論文73

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 張賽民;周竹生;陳靈君;;應(yīng)用一種改進(jìn)BP神經(jīng)網(wǎng)絡(luò)算法預(yù)測(cè)密度曲線[J];物探化探計(jì)算技術(shù);2007年06期

2 李淑慧;;改進(jìn)的進(jìn)化神經(jīng)網(wǎng)絡(luò)算法及其在入侵檢測(cè)中的應(yīng)用[J];現(xiàn)代電子技術(shù);2010年01期

3 王治國(guó);宋考平;張春鶴;劉剛;王愛(ài)明;;BP神經(jīng)網(wǎng)絡(luò)算法在單井流動(dòng)單元識(shí)別中的應(yīng)用[J];數(shù)學(xué)的實(shí)踐與認(rèn)識(shí);2011年05期

4 ;BP神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)[J];電腦開(kāi)發(fā)與應(yīng)用;1995年02期

5 賀興時(shí),劉宇;BP神經(jīng)網(wǎng)絡(luò)算法在數(shù)字識(shí)別中的應(yīng)用[J];西北紡織工學(xué)院學(xué)報(bào);2000年04期

6 李廣瓊,蔣加伏;關(guān)于對(duì)BP神經(jīng)網(wǎng)絡(luò)算法改進(jìn)的研究[J];常德師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2003年02期

7 孫修東,李宗斌,陳富民;基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)算法的多指標(biāo)綜合評(píng)價(jià)方法的應(yīng)用研究[J];河南機(jī)電高等專(zhuān)科學(xué)校學(xué)報(bào);2003年01期

8 王青海;BP神經(jīng)網(wǎng)絡(luò)算法的一種改進(jìn)[J];青海大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年03期

9 左付均,蔡自興;基于神經(jīng)網(wǎng)絡(luò)算法的建設(shè)項(xiàng)目風(fēng)險(xiǎn)預(yù)測(cè)系統(tǒng)設(shè)計(jì)[J];廣西科學(xué)院學(xué)報(bào);2004年03期

10 李衛(wèi)東;基于神經(jīng)網(wǎng)絡(luò)算法的工程技術(shù)人員綜合評(píng)價(jià)方法的應(yīng)用研究[J];太原科技大學(xué)學(xué)報(bào);2005年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 呂慶U，

本文編號(hào)：639791