本文關(guān)鍵詞：回響狀態(tài)網(wǎng)絡(luò)及概念機(jī)網(wǎng)絡(luò)的儲(chǔ)備池模型優(yōu)化研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：回響狀態(tài)網(wǎng)絡(luò)(echo state network,ESN)是一種典型的儲(chǔ)備池計(jì)算(reservoir computing,RC)模型,它將低維的輸入信號(hào)映射到一個(gè)高維的狀態(tài)空間,再通過簡單的線性回歸學(xué)習(xí)算法將高維的信息轉(zhuǎn)換為低維信號(hào)輸出。這個(gè)高維狀態(tài)空間就是儲(chǔ)備池,它大大減小了傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜度并克服其記憶消減問題。儲(chǔ)備池作為關(guān)鍵的處理單元,其輸入編碼方式直接影響了輸出層的讀出精度。因此,儲(chǔ)備池模型優(yōu)化一直是該領(lǐng)域的一個(gè)嚴(yán)重?zé)狳c(diǎn),也出現(xiàn)了許多復(fù)雜網(wǎng)絡(luò)模型。其中,皮質(zhì)層多簇結(jié)構(gòu)以其豐富的動(dòng)態(tài)特性及其仿生性而備受關(guān)注。但網(wǎng)絡(luò)算法中存在的隨機(jī)性可能導(dǎo)致網(wǎng)絡(luò)計(jì)算能力存在較大波動(dòng),且算法參數(shù)難以調(diào)節(jié)。因而需要對(duì)儲(chǔ)備池進(jìn)行進(jìn)一步優(yōu)化。另一方面,最新提出的概念機(jī)遞歸神經(jīng)網(wǎng)絡(luò)(Conceptor),它仍然采用儲(chǔ)備池計(jì)算,且其動(dòng)力學(xué)模塊具有很好的可擴(kuò)展性。但目前,其網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)單一,僅采用傳統(tǒng)的隨機(jī)網(wǎng)絡(luò),且其節(jié)點(diǎn)耦合性較強(qiáng),計(jì)算能力有限。因此,對(duì)于Conceptor網(wǎng)絡(luò)的儲(chǔ)備池優(yōu)化設(shè)計(jì)也尤為重要。對(duì)于ESN,我們提出了兩種儲(chǔ)備池優(yōu)化模型:一方面是在皮質(zhì)層多簇結(jié)構(gòu)的基礎(chǔ)上,結(jié)合動(dòng)態(tài)學(xué)習(xí)算法對(duì)網(wǎng)絡(luò)進(jìn)行結(jié)構(gòu)調(diào)整,提出一種基于先驗(yàn)數(shù)據(jù)導(dǎo)向的多簇儲(chǔ)備池,利用先驗(yàn)數(shù)據(jù)樣本離線調(diào)整儲(chǔ)備池拓?fù)浣Y(jié)構(gòu),使其更為適應(yīng)該類計(jì)算任務(wù)。通過Mackey-Glass預(yù)測(cè)實(shí)驗(yàn)發(fā)現(xiàn),相較于傳統(tǒng)隨機(jī)網(wǎng)絡(luò)和皮質(zhì)層多簇網(wǎng)絡(luò),基于先驗(yàn)數(shù)據(jù)導(dǎo)向的多簇儲(chǔ)備池在精度上有明顯提高,并且具有更高的結(jié)構(gòu)復(fù)雜度和小世界特性。另一方面,在多簇結(jié)構(gòu)的基礎(chǔ)上,結(jié)合神經(jīng)元的內(nèi)部可塑性(intrinsic plasticity,IP)學(xué)習(xí)機(jī)制,提出基于內(nèi)部可塑性的多簇儲(chǔ)備池。分析了兩種IP規(guī)則對(duì)神經(jīng)元輸入響應(yīng)的影響,并通過NARMA序列預(yù)測(cè)實(shí)驗(yàn)驗(yàn)證其有效性。通過IP學(xué)習(xí)的多簇儲(chǔ)備池突破了建網(wǎng)過程中的隨機(jī)性所造成的精度瓶頸,大大提高了隨機(jī)儲(chǔ)備池和皮質(zhì)層多簇儲(chǔ)備池的預(yù)測(cè)精度,且基于李氏IP規(guī)則的多簇儲(chǔ)備池具有更為突出的精度優(yōu)勢(shì)。對(duì)于Conceptor網(wǎng)絡(luò),通過研究復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu),提出基于洛倫茲時(shí)間序列相空間重構(gòu)的復(fù)雜網(wǎng)絡(luò)儲(chǔ)備池,分析網(wǎng)絡(luò)結(jié)構(gòu)特性,對(duì)比該網(wǎng)絡(luò)與隨機(jī)網(wǎng)絡(luò)、皮質(zhì)層多簇網(wǎng)絡(luò)對(duì)輸入模型的重構(gòu)能力,實(shí)驗(yàn)表明,相空間重構(gòu)網(wǎng)絡(luò)對(duì)該信號(hào)的重構(gòu)計(jì)算具有更小的誤差,且在改變載入模型數(shù)量的情況下,依然保持其優(yōu)勢(shì)。
【關(guān)鍵詞】：儲(chǔ)備池計(jì)算 復(fù)雜網(wǎng)絡(luò) 多簇 儲(chǔ)備池
【學(xué)位授予單位】：重慶大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP18;O157.5
【目錄】：

• 摘要3-4
• abstract4-8
• 1 緒論8-12
• 1.1 儲(chǔ)備池計(jì)算研究背景及意義8
• 1.2 本課題國內(nèi)外研究現(xiàn)狀8-11
• 1.3 本文主要研究內(nèi)容11-12
• 2 儲(chǔ)備池神經(jīng)計(jì)算模型12-24
• 2.1 引言12
• 2.2 回響狀態(tài)網(wǎng)絡(luò)（ESN）12-15
• 2.2.1 回響狀態(tài)神經(jīng)網(wǎng)絡(luò)計(jì)算模型12-14
• 2.2.2 網(wǎng)絡(luò)訓(xùn)練算法14-15
• 2.3 概念機(jī)遞歸神經(jīng)網(wǎng)絡(luò)（Conceptor）15-22
• 2.3.1 概念機(jī)的計(jì)算機(jī)制模型16-19
• 2.3.2 概念機(jī)的邏輯操作19
• 2.3.3 自發(fā)式概念機(jī)計(jì)算模型19-20
• 2.3.4 概念機(jī)網(wǎng)絡(luò)的記憶管理20-22
• 2.4 本章小結(jié)22-24
• 3 基于先驗(yàn)數(shù)據(jù)導(dǎo)向的多簇ESN儲(chǔ)備池24-38
• 3.1 皮質(zhì)層多簇網(wǎng)絡(luò)24-28
• 3.1.1 皮質(zhì)層多簇網(wǎng)絡(luò)構(gòu)建算法24-26
• 3.1.2 復(fù)雜網(wǎng)絡(luò)基本測(cè)度26
• 3.1.3 網(wǎng)絡(luò)結(jié)構(gòu)分析及參數(shù)選擇26-28
• 3.2 基于先驗(yàn)數(shù)據(jù)導(dǎo)向的多簇儲(chǔ)備池28-29
• 3.3 Mackey-Glass混沌時(shí)間序列預(yù)測(cè)實(shí)驗(yàn)29-37
• 3.3.1 實(shí)驗(yàn)設(shè)計(jì)29-31
• 3.3.2 實(shí)驗(yàn)結(jié)果及分析31-37
• 3.4 本章小結(jié)37-38
• 4 基于內(nèi)部可塑性的多簇ESN儲(chǔ)備池38-48
• 4.1 神經(jīng)元的內(nèi)部可塑性38-39
• 4.2 兩種IP規(guī)則的算法分析39-42
• 4.3 基于IP規(guī)則的多簇ESN儲(chǔ)備池構(gòu)建42
• 4.4 NARMA混沌時(shí)間序列預(yù)測(cè)實(shí)驗(yàn)42-47
• 4.4.1 實(shí)驗(yàn)設(shè)計(jì)42-44
• 4.4.2 實(shí)驗(yàn)結(jié)果及分析44-47
• 4.5 本章小結(jié)47-48
• 5 基于相空間重構(gòu)法的概念機(jī)儲(chǔ)備池計(jì)算48-66
• 5.1 根據(jù)時(shí)間序列構(gòu)建復(fù)雜網(wǎng)絡(luò)48-55
• 5.1.1 可見圖法建網(wǎng)48-49
• 5.1.2 相空間重構(gòu)法建網(wǎng)49-50
• 5.1.3 幾種時(shí)間序列的復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)分析50-55
• 5.2 基于相空間重構(gòu)網(wǎng)絡(luò)的概念機(jī)重構(gòu)實(shí)驗(yàn)55-62
• 5.2.1 自發(fā)性概念機(jī)的內(nèi)容尋址記憶系統(tǒng)55-56
• 5.2.2 混合無理數(shù)周期正弦信號(hào)的重構(gòu)實(shí)驗(yàn)56-57
• 5.2.3 實(shí)驗(yàn)結(jié)果及分析57-62
• 5.3 概念機(jī)遞歸神經(jīng)網(wǎng)絡(luò)的延伸應(yīng)用62-64
• 5.4 本章小結(jié)64-66
• 6 總結(jié)與展望66-68
• 6.1 總結(jié)66
• 6.2 展望66-68
• 致謝68-70
• 參考文獻(xiàn)70-76
• 附錄76
• A. 作者在攻讀碩士學(xué)位期間發(fā)表的論文76
• B. 作者在攻讀碩士學(xué)位期間參與的項(xiàng)目76

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前3條

1 ;概念機(jī)種特別介紹[J];大眾科技;2003年01期

2 ;清雅脫俗DE日本最新概念機(jī)[J];科學(xué)大觀園;2004年10期

3 ;[J];;年期

中國重要報(bào)紙全文數(shù)據(jù)庫 前3條

1 上海 本壘打;移動(dòng)的魔盒[N];電腦報(bào);2002年

2 上海 顧鳴;異形來了[N];電腦報(bào);2004年

3 本報(bào)記者 呂靜;3D電視：角色眾多的“獨(dú)角戲”[N];中國經(jīng)營報(bào);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 鐘玲;回響狀態(tài)網(wǎng)絡(luò)及概念機(jī)網(wǎng)絡(luò)的儲(chǔ)備池模型優(yōu)化研究[D];重慶大學(xué);2016年

  本文關(guān)鍵詞：回響狀態(tài)網(wǎng)絡(luò)及概念機(jī)網(wǎng)絡(luò)的儲(chǔ)備池模型優(yōu)化研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：297354