本文關(guān)鍵詞：回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)優(yōu)化及其應(yīng)用　出處：《華東理工大學(xué)》2016年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 儲存池計算 回聲狀態(tài)網(wǎng)絡(luò) 時間序列預(yù)測 青霉素批處理過程 結(jié)構(gòu)優(yōu)化

【摘要】：近年來,儲存池計算(Reservoir Computing, RC)發(fā)展非常迅速,并且已經(jīng)成功應(yīng)用于很多領(lǐng)域�；芈暊顟B(tài)網(wǎng)絡(luò)(Echo State Network, ESN),液體狀態(tài)機(Liquid State Machines, LSMs)及BP解相關(guān)(Back-propagation Decorrelation, BPDC)是最常見的RC方法。ESN是遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)的一種,它由不需要訓(xùn)練的稀疏連接隱層和需要訓(xùn)練確定的線性輸出層組成,通常情況下,ESN的輸入權(quán)值、儲存池拓撲結(jié)構(gòu)及權(quán)值都是隨機初始化的。ESN已經(jīng)成功應(yīng)用于時間序列預(yù)測、非線性系統(tǒng)辨識、語言處理、手機流量預(yù)測、股票預(yù)測及語言模型等領(lǐng)域,在暫態(tài)時序系統(tǒng)建模上表現(xiàn)出很強的潛能和前景。但同時ESN也有著很多缺點,例如：難以理解的儲存池黑箱特性、需要多次嘗試才能確定的儲存池連接結(jié)構(gòu)和權(quán)值、缺少原則性的儲存池創(chuàng)建以及沒有原則的設(shè)計框架。隨機初始化的儲存池很難達到最優(yōu),同時儲存池的黑箱結(jié)構(gòu)也很難使我們清晰地認識儲存池的動態(tài)特性。所以針對特定對象如何確定ESN輸入縮放系數(shù)、最優(yōu)儲存池拓撲結(jié)構(gòu)以及最優(yōu)輸出層連接等,仍然是ESN研究的熱點。本文的研究內(nèi)容主要分為ESN的非儲存池結(jié)構(gòu)和參數(shù)的優(yōu)化(輸入縮放參數(shù)的調(diào)節(jié)和輸出層連接的結(jié)構(gòu)優(yōu)化)和儲存池優(yōu)化(儲存池大小和權(quán)值調(diào)整)兩個層次。本文的主要研究成果如下：(1)在多輸入ESN建模中,存在輸入縮放系數(shù)調(diào)節(jié)的問題,目前,在多輸入的條件下,很少有人研究ESN的輸入縮放系數(shù)和輸出層連接結(jié)構(gòu)對網(wǎng)絡(luò)性能的影響,同時也缺少一種公認的ESN理論設(shè)計框架。針對ESN一些難以確定的參數(shù)如：輸出層結(jié)構(gòu)、輸入縮放參數(shù)、譜半徑調(diào)節(jié)等問題,本文提出了基于輸入縮放系數(shù)調(diào)節(jié)(Sensitivity Analysis Input ScalingRegulation, S AISR)和冗余信息剪枝(Redundant Unit Pruning Algorithm, RUPA) 的 ESN模型。在SAISR中,首先通過默認輸入縮放系數(shù)創(chuàng)建并初始化一個足夠大的ESN,然后訓(xùn)練已建立好的ESN并計算每個輸入變量的敏感度,最后根據(jù)敏感度的大小得到ESN的最優(yōu)輸入縮放系數(shù),并用最優(yōu)輸入縮放系數(shù)重新建立ESN模型。在RUPA中,首先計算各個儲存池神經(jīng)元之間的相關(guān)系數(shù)從而找到最相關(guān)的兩個儲存池神經(jīng)元,最相關(guān)的神經(jīng)元呈冗余關(guān)系,然后剪掉其中一個冗余神經(jīng)元的輸出連接,同時重復(fù)循環(huán)剪枝過程直到誤差達到期望值以內(nèi)。最終通過對青霉素批處理過程的建模發(fā)現(xiàn)在多輸入的條件下,輸入縮放系數(shù)比ESN的其他參數(shù)如：儲存池譜半徑、稀疏度及儲存池縮放因子對網(wǎng)絡(luò)性能的影響大。同時RUPA可以在提升網(wǎng)絡(luò)性能的情況下進一步簡化網(wǎng)絡(luò)。(2)ESN輸出連接的優(yōu)化是一個特征子集選取問題,對ESN的輸出層連接進行優(yōu)化可以得到更好的輸出層連接結(jié)構(gòu),輸出連接優(yōu)化的本質(zhì)是一個離散、高維、非線性的優(yōu)化問題。為了進一步簡化網(wǎng)絡(luò)和提升網(wǎng)絡(luò)的泛化性,提出了一種基于二進制粒子群優(yōu)化輸出連接的回聲狀態(tài)網(wǎng)絡(luò),由于輸出層連接的優(yōu)化是一個二進制的特征提取問題,所以本文采用二進制粒子群(Binary Particle Swarm Optimization, BPSO)來解決輸出連接優(yōu)化問題,首先根據(jù)訓(xùn)練數(shù)據(jù)建立一個足夠大的ESN,同時訓(xùn)練已建立的ESN,計算其誤差函數(shù)并產(chǎn)生初始化種群,然后根據(jù)每個粒子的適應(yīng)值(驗證誤差)來更新種群,最終通過得到的最優(yōu)粒子,也就是最優(yōu)輸出層連接來建立優(yōu)化模型。將所提方法應(yīng)用于三個時序?qū)ο蠛颓嗝顾嘏幚磉^程,仿真結(jié)果表明了全局優(yōu)化方法BPSO與相關(guān)性剪枝方法RUPA、傳統(tǒng)特征子集選取方法(Least Angle Regression, LAR)相比,BPSO更能有效的優(yōu)化輸出層連接,同時在簡化程度上,全局優(yōu)化方法也優(yōu)于RUPA和LAR。(3)由于ESN的儲存池初始化是隨機的,所以儲存池很難達到最優(yōu),同時儲存池的隨機性導(dǎo)致了不清晰的儲存池的動態(tài)特性,如何設(shè)計和構(gòu)建儲存池仍是ESN研究的難點。確定型儲存池拓撲結(jié)構(gòu)ESN的出現(xiàn)大大改進了傳統(tǒng)ESN,消除了傳統(tǒng)ESN的隨機性,并且性能上不亞于傳統(tǒng)ESN。但是如何確定其儲存池的大小仍然是一個沒有解決的問題,針對如何確定SCR(Simple Cycle Reservoir, SCR)型儲存池ESN (SCRN)的大小提出了基于剪枝或構(gòu)造改進的確定型儲存池回聲狀態(tài)網(wǎng)絡(luò),利用構(gòu)造法或剪枝法來確定SCRN的儲存池大小。構(gòu)造法采用簡單分裂算法(Simple Disjunction Algorithm, SDA),首先構(gòu)建一個合適大小的SCRN,然后計算每個儲存池神經(jīng)元的權(quán)值權(quán)重,最后根據(jù)計算得來的儲存池權(quán)值權(quán)重,把超過一定閥值的神經(jīng)元分裂為兩個。而剪枝算法采用敏感迭代剪枝算法(Sensitive Iterated Pruning Algorithm, SIPA),首先構(gòu)建一個相對過大的SCRN,然后計算每個儲存池神經(jīng)元的敏感度,剪掉敏感度最低的儲存池神經(jīng)元,最后通過最小二乘法調(diào)整剩余神經(jīng)元的權(quán)值從而保持儲存池信息的完整性。仿真結(jié)果證實,對于SCRN,剪枝方法可以提升網(wǎng)絡(luò)的泛化性能并簡化網(wǎng)絡(luò),剪枝方法與構(gòu)造方法相比,剪枝方法更適合用來確定SCRN的儲存池大小。雖然SDA的性能不及剪枝方法,但是SDA可以明顯的減少輸出層的權(quán)值系數(shù),同時可以略微提高SCRN的穩(wěn)定性,由實驗結(jié)果可以看出,從提升性能上來講,剪枝方法對ESN'性能的提升要遠遠高于構(gòu)造法；從穩(wěn)定性上來講,構(gòu)造法更能提升ESN的穩(wěn)定性。
[Abstract]:In recent years, storage pool calculation (Reservoir Computing, RC) is developing very rapidly, and has been successfully used in many fields. The echo state network (Echo State Network, ESN), liquid state machine (Liquid State Machines, LSMs) and BP (Back-propagation Decorrelation, BPDC solution.ESN RC) is the most common method is recursive neural network (Recurrent Neural Network, RNN) a, it does not require training by sparse connection of the hidden layer and the output layer to determine the training needs of linear composition, usually, the input weight ESN, storage pool topology and weights are randomly initialized.ESN has been successfully applied to nonlinear time series prediction. System identification, language processing, mobile phone traffic forecast, stock prediction and language model and other fields, show the potential and Prospect of the strong modeling transient timing system. But at the same time, ESN also have many shortcomings, For example: the storage pool is difficult to understand the characteristics of the black box, take several attempts to determine the storage pool connection structure and weights, lack of principle and create a storage pool design framework without principle. The random initialization of the storage pool is difficult to achieve the optimal storage at the same time, the dynamic characteristics of the black box structure pool is also difficult to make a clear understanding of our store for a specific object pool. So how to determine the ESN input zoom coefficient, the optimal storage pool topology and the optimal output layer connection, is still the hotspot of ESN research. The optimization of the main content of this paper is divided into the storage tank structure and the parameters of the ESN (input and output parameters of the zoom adjustment layer connection structure optimization) (storage and storage pool optimization adjustment pool size and weight) two levels. The main results are as follows: (1) in multi input ESN modeling, input zoom adjustment coefficient At present, the problems in multi input conditions, have little effect on the input of the ESN zoom coefficient and output layer connection structure on the performance of the network, but also the lack of a recognized ESN design theory framework. Using ESN to determine the parameters such as the output layer structure, input zoom parameters, adjusting the spectrum radius, is proposed to adjust the input coefficient based on zoom (Sensitivity Analysis Input ScalingRegulation S AISR (Redundant) and Unit Pruning redundancy pruning Algorithm, RUPA) ESN model. In SAISR, the default input zoom coefficient to create and initialize a large enough ESN, then established ESN and training the calculation of each input variable sensitivity, according to the sensitivity of the size of the optimal input zoom coefficient ESN, and the optimal input coefficient to establish the ESN model zoom in RUPA. First of all, calculate the correlation coefficient of each storage pool between neurons in order to find the most relevant two storage pool is the most relevant relationship between neurons, redundant neurons, and then cut the output of a redundant neuron connection, and repeat the cycle pruning process until the error reaches the expected value within. By the end of penicillin batch process modeling found in under the condition of multi input, input the zoom factor than other parameters such as ESN storage pool spectral radius, sparsity and storage pool zoom factor on the performance of the network. At the same time, RUPA can further simplify the network to enhance the performance of the network under the situation. (2) the ESN output is connected to the optimization problem of selecting a subset of features the output layer of ESN, connection optimization can get better connected to the output layer structure, the nature of the output connection optimization is a discrete, high dimension, nonlinear optimization problems In order to further simplify the generalization problem. Network and improve the network, put forward a kind of echo state network binary particle swarm optimization based on output connection, because the output layer connection optimization is a binary feature extraction problem, so this paper uses binary particle swarm (Binary Particle Swarm Optimization, BPSO) to solve the optimization problem of the output connection first of all, according to the training data to build a large enough ESN, while training the established ESN, calculate the error function and population initialization, then according to the fitness value of each particle (verification error) to update the population, finally obtained the optimal particle, which is the optimal output layer connection optimization model is established. The proposed method is applied to three sequential objects and penicillin batch process, the simulation results show that the global optimization method of BPSO and RUPA correlation pruning method, traditional. Subset selection method (Least Angle Regression, LAR) compared to BPSO can optimize the output layer effective connection, while simplifying extent is better than that of RUPA and LAR. method for global optimization (3) due to the ESN storage pool initialization is random, so it is difficult to achieve the optimal storage pool, and random storage pool the resulting dynamic characteristics is not clear the storage pool, how to design and build a ESN storage pool is still difficult. The type of storage tank ESN topology greatly improves the traditional ESN, eliminate the randomness of traditional ESN, and the performance is not less than the traditional ESN. but how to determine the storage pool size is still an unresolved issue, to determine the SCR (Simple Cycle Reservoir, SCR) ESN (SCRN) type storage pool size is proposed to determine the type of structure based on improved pruning or storage pool echo state network, using construction method Or pruning method to determine the SCRN pool size. A simple split algorithm based on the construction method (Simple Disjunction Algorithm, SDA), the first to build a suitable size of SCRN, and then calculate the weight weight of each storage pool of neurons, the final weight according to the calculated to the storage pool right value exceeds a certain threshold to split into neurons two. The pruning algorithm using sensitive iterative pruning algorithm (Sensitive Iterated Pruning Algorithm, SIPA), first built a relatively large SCRN, and then calculated for each storage pool of neurons sensitive to cut storage pool the least sensitive neurons, finally through the least squares method to adjust the weights of the remaining neurons to maintain the integrity of the store the pool of information. The simulation results show that for SCRN, the pruning method can improve the generalization performance of the network and simplify the network structure, compared with the method of pruning, pruning The method is more suitable to determine the SCRN pool size. Although the performance of SDA is less than the pruning method, but the SDA can significantly reduce the weight coefficient of the output layer, and can slightly improve the stability of the SCRN, can be seen from the experimental results from the performance of speaking, the pruning method improve the performance of ESN'is much higher than the construction method from the stability; speaking, construction method can enhance the stability of the ESN.

【學(xué)位授予單位】：華東理工大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP18

【相似文獻】

相關(guān)期刊論文 前10條

1 帷幄;如何防止網(wǎng)絡(luò)參數(shù)被篡改[J];網(wǎng)絡(luò)與信息;2002年02期

2 ;控制網(wǎng)絡(luò)的正確選擇[J];機電信息;1998年05期

3 ;無線網(wǎng)絡(luò)參數(shù)[J];計算機與網(wǎng)絡(luò);2002年14期

4 邱梓振;無圖網(wǎng)絡(luò)的參數(shù)計算[J];龍巖師專學(xué)報;1991年03期

5 ;享受極品網(wǎng)絡(luò)加速[J];電子科技;2001年05期

6 周永權(quán),焦李成;層次泛函網(wǎng)絡(luò)整體學(xué)習(xí)算法[J];計算機學(xué)報;2005年08期

7 周永權(quán);何登旭;焦李成;李陶深;;層次泛函網(wǎng)絡(luò)學(xué)習(xí)算法及其在時間序列分析中的應(yīng)用[J];數(shù)據(jù)采集與處理;2006年02期

8 馮業(yè)榮;BP網(wǎng)絡(luò)及其學(xué)習(xí)功能初探[J];廣東氣象;1995年01期

9 何平,潘國峰,董永峰;模糊SOM網(wǎng)絡(luò)在油氣預(yù)測中的應(yīng)用[J];河北工業(yè)大學(xué)學(xué)報;2003年05期

10 武星軍,朱世強,金波;RAN網(wǎng)絡(luò)及其應(yīng)用的研究[J];儀器儀表學(xué)報;2001年01期

相關(guān)會議論文 前9條

1 莫富強;王浩;姚宏亮;;動態(tài)貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)算法的一種加速[A];中國儀器儀表學(xué)會第九屆青年學(xué)術(shù)會議論文集[C];2007年

2 方錦清;;網(wǎng)絡(luò)科學(xué)理論研究的若干進展與展望-近年我院復(fù)雜網(wǎng)絡(luò)小組的研究概述[A];第三屆全國復(fù)雜動態(tài)網(wǎng)絡(luò)學(xué)術(shù)論壇論文集[C];2006年

3 王惠生;;GSM-R網(wǎng)絡(luò)參數(shù)ACCMIN的設(shè)置及對系統(tǒng)的影響[A];鐵道科學(xué)技術(shù)新進展——鐵道科學(xué)研究院五十五周年論文集[C];2005年

4 董樹義;趙永久;路宏敏;;微波規(guī)準網(wǎng)絡(luò)參數(shù)擬合模型與CAT[A];1991年全國微波會議論文集（卷Ⅱ）[C];1991年

5 陳濤;龔正虎;胡寧;;基于改進BP算法的網(wǎng)絡(luò)態(tài)勢預(yù)測模型[A];2009全國計算機網(wǎng)絡(luò)與通信學(xué)術(shù)會議論文集[C];2009年

6 彭振宇;朱暢華;董樹義;;傳輸型雙六端口測量網(wǎng)絡(luò)參數(shù)的優(yōu)化方案探討[A];1995年全國微波會議論文集（下冊）[C];1995年

7 方錦清;汪小帆;鄭志剛;;非線性網(wǎng)絡(luò)的動力學(xué)復(fù)雜性研究的進展概況[A];第四屆全國網(wǎng)絡(luò)科學(xué)學(xué)術(shù)論壇暨研究生暑期學(xué)校論文集[C];2008年

8 吳曄;肖井華;馬寶軍;吳智遠;楊俊忠;;手機短信網(wǎng)絡(luò)的生長過程研究[A];2006全國復(fù)雜網(wǎng)絡(luò)學(xué)術(shù)會議論文集[C];2006年

9 梁昌洪;張新軍;;一類非均勻傳輸線網(wǎng)絡(luò)參數(shù)的數(shù)值求解[A];1997年全國微波會議論文集(下冊)[C];1997年

相關(guān)重要報紙文章 前10條

1 魏大可;校園網(wǎng)絡(luò)參數(shù)維護技巧之隱藏法[N];中國電腦教育報;2003年

2 北京 阮征;遠程修改網(wǎng)絡(luò)參數(shù)[N];電腦報;2004年

3 本報記者 葉閃;告別網(wǎng)絡(luò)亞健康狀態(tài)[N];計算機世界;2001年

4 武君;網(wǎng)絡(luò)優(yōu)化因“段”制宜[N];通信產(chǎn)業(yè)報;2006年

5 廣西 卜云聲;網(wǎng)絡(luò)切換開關(guān)——Netswitcher[N];電腦報;2001年

6 愛立信(中國)通信有限公司;自組織網(wǎng)絡(luò):構(gòu)建高效低成本移動網(wǎng)絡(luò)[N];通信產(chǎn)業(yè)報;2010年

7 記者 趙雅琪;“易優(yōu)”有效解決TD網(wǎng)絡(luò)優(yōu)化難題[N];人民郵電;2009年

8 上海貝爾 肖曄　陳曦 李勇;建設(shè)性能優(yōu)異的WCDMA網(wǎng)絡(luò)[N];人民郵電;2009年

9 劉學(xué)勇;解讀NGMN白皮書[N];通信產(chǎn)業(yè)報;2007年

10 本報實習(xí)記者 賈冕;WiFi共享：是福是禍？[N];中國知識產(chǎn)權(quán)報;2013年

相關(guān)博士學(xué)位論文 前10條

1 周文剛;網(wǎng)絡(luò)流量分類識別若干技術(shù)研究[D];電子科技大學(xué);2014年

2 王河山;回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)優(yōu)化及其應(yīng)用[D];華東理工大學(xué);2016年

3 王濤;全局耦合網(wǎng)絡(luò)的特性及其混沌控制研究[D];哈爾濱工程大學(xué);2012年

4 蘇先創(chuàng);復(fù)雜網(wǎng)絡(luò)的結(jié)構(gòu)刻畫與蛋白質(zhì)作用網(wǎng)絡(luò)的建模研究[D];浙江大學(xué);2011年

5 楊談;網(wǎng)絡(luò)混沌行為及其控制的研究[D];北京郵電大學(xué);2009年

6 嚴傳魁;基于一種自適應(yīng)突觸學(xué)習(xí)規(guī)則的網(wǎng)絡(luò)同步分析以及在記憶模型中的應(yīng)用[D];華東理工大學(xué);2012年

7 史偉;基于復(fù)雜網(wǎng)絡(luò)的拓撲與信息傳輸問題研究[D];天津大學(xué);2010年

8 王建民;基于回聲狀態(tài)網(wǎng)絡(luò)的非線性時間序列預(yù)測方法研究[D];哈爾濱工業(yè)大學(xué);2011年

9 姚春光;基于復(fù)雜網(wǎng)絡(luò)的網(wǎng)上商品交易行為特征研究[D];北京郵電大學(xué);2015年

10 侯婕;位置與標識分離網(wǎng)絡(luò)關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 萬慧華;基于RR間期和深度置信網(wǎng)絡(luò)的房顫檢測[D];河北大學(xué);2015年

2 唐小虹;復(fù)雜網(wǎng)絡(luò)級聯(lián)失效下的負載重分配機制研究[D];西南交通大學(xué);2015年

3 白昊晨;CDMA網(wǎng)絡(luò)優(yōu)化技術(shù)研究[D];北京化工大學(xué);2015年

4 陳雨;基于復(fù)雜網(wǎng)絡(luò)的故障診斷方法研究及系統(tǒng)實現(xiàn)[D];北京化工大學(xué);2015年

5 張亞娟;基于復(fù)雜網(wǎng)絡(luò)的房顫信號特性分析[D];復(fù)旦大學(xué);2014年

6 袁博;基于關(guān)系網(wǎng)絡(luò)的微博話題挖掘[D];哈爾濱工業(yè)大學(xué);2014年

7 楊程成;相互作用網(wǎng)絡(luò)的魯棒性研究[D];電子科技大學(xué);2015年

8 孫衛(wèi)強;基于深度信念網(wǎng)絡(luò)的網(wǎng)絡(luò)水軍識別研究[D];湘潭大學(xué);2015年

9 朱日劍;復(fù)雜網(wǎng)絡(luò)上動力學(xué)系統(tǒng)同步現(xiàn)象的研究[D];廣西師范大學(xué);2015年

10 周永進;BP網(wǎng)絡(luò)的改進及其應(yīng)用[D];南京信息工程大學(xué);2007年

，

本文編號：1364317