基于神經(jīng)生物學的實驗現(xiàn)象和合理的計算假設,一些神經(jīng)可塑性機制的計算模型被提出并在提升人工神經(jīng)網(wǎng)絡性能方面發(fā)揮著重要作用。通過計算建模模擬生物神經(jīng)機制的工作過程有助于人類更好地理解神經(jīng)系統(tǒng)在信息的表達、處理、存儲等過程的內(nèi)在工作機制和生物計算過程。然而,現(xiàn)有的神經(jīng)可塑性的計算建模同樣面臨一些需要克服的問題,諸如突觸可塑性中的穩(wěn)定性問題、單一的神經(jīng)可塑性學習規(guī)則所導致的表現(xiàn)不佳以及對生物神經(jīng)可塑性機制的認識仍然存在不足等。本文以現(xiàn)有的神經(jīng)可塑性學習規(guī)則和神經(jīng)生物學研究知識為理論基礎,以回聲狀態(tài)網(wǎng)絡在一些仿真問題和實際任務中的測試實驗為應用基礎,針對現(xiàn)有的神經(jīng)可塑機制在儲備池優(yōu)化過程所面臨的一些問題進行研究,主要內(nèi)容如下:（1）現(xiàn)有的突觸可塑性學習規(guī)則在儲層連接權重的調節(jié)過程中采用的可塑性規(guī)則不僅學習機制相同而且可塑性參數(shù)也只局限于單一的全局參數(shù)。單一類型的可塑性規(guī)則可能無法捕獲生物神經(jīng)可塑性的本質,并且在實際應用中也是不靈活的,進而無法有效地提升系統(tǒng)的學習性能�；诖�,本博士論文從單個神經(jīng)元的角度設計了一種局部突觸可塑性學習規(guī)則,即不同的儲層神經(jīng)元可以采用完全不同的突觸可塑性規(guī)則或不同參數(shù)... 

【文章來源】：東華大學上海市 211工程院校 教育部直屬院校

【文章頁數(shù)】：112 頁

【學位級別】：博士

【部分圖文】：

回聲狀態(tài)網(wǎng)絡模型的基本架構

第一章緒論-19-20Mixx(1.14)式中，滑動閾值θM的大小取決于突觸后神經(jīng)元的平均輸出狀態(tài)。參數(shù)ε為權重衰減常數(shù)；x0表示突觸后神經(jīng)元的期望輸出；E2為2階均值運算符。在BCM學習規(guī)則中，如果突觸后神經(jīng)元的平均輸出狀態(tài)超過所設定的滑動閾值，則突觸強度增加；否則，減弱。BCM學習規(guī)則的示意圖如圖1-2所示：圖1-2.BCM學習規(guī)則以上所述的幾類常見的突觸可塑性規(guī)則都是基于放電率的編碼形式。即神經(jīng)元單位時間內(nèi)放電尖峰數(shù)的大小作為神經(jīng)元放電率的近似值。在這種情況下神經(jīng)編碼過程僅僅考慮了放電率而忽視了動作電位的產(chǎn)生時刻。除了基于放電率的編碼形式，一類基于放電尖峰時刻的編碼方式也被用于突觸可塑性的計算建模中。5.脈沖時序依賴可塑性進一步的研究發(fā)現(xiàn)指出[83-86]，突觸傳遞效率和方向的變化依賴于突觸前、后神經(jīng)元的放電時間窗。目前，這種依賴于神經(jīng)元脈沖時序的可塑性也已被用于突觸可塑性的計算建模。如圖1-3所示，兩個放電時刻序列兩兩配對后，選取與突觸后神經(jīng)元放電最近的時刻對用于計算突觸修正值。圖中，紅色表示抑制，藍色表示興奮。當突觸前神經(jīng)元動作電位的放電時刻早于突觸后神經(jīng)元動作電位的放電時刻，突觸權重則會增強；反之，當突觸前神經(jīng)元動作電位的放電時刻晚于突觸后神經(jīng)元動作電位的放電時刻，突觸權重則會減弱。也就是說，權重的增強或是減弱依賴于突觸前、后神經(jīng)元的放電順序。這種脈沖時序依賴可塑性可以通過如下公式表示：

第一章緒論-21-圖1-4.三相脈沖時序依賴可塑性基于動作電位與電壓峰值之間的密切相關，一種基于突觸前、后神經(jīng)元的瞬時電壓和平均電壓的可塑性機制最近被提出[91]。以下公式給出該規(guī)則的計算表示：[[][]jiLTDijLTPijjWAxuAxuu(1.17)式中，xi表示突觸前神經(jīng)元i的尖峰序列；uj表示突觸后神經(jīng)元j的電壓值；θ為閾值參數(shù)；三個參數(shù)的上標形式為所對應的低通濾波值。7.基于鈣離子的可塑性事實上，無論是基于放電率的編碼還是基于放電尖峰時刻的編碼的突觸可塑性的計算建模都未曾涉及到神經(jīng)系統(tǒng)的內(nèi)在分子機制，Shouval等人在其文獻[92]中指出基于脈沖時序的可塑性學習規(guī)則可能忽略某些對學習和記憶能力至關重要的內(nèi)在分子機制。文中指出突觸可塑性是由多種受體產(chǎn)生的第二信使所誘導的，這些第二信使反過來又激活激酶、磷酸酶和其它下游目標。進一步的研究也指出突觸中鈣離子濃度在誘導突觸可塑性中發(fā)揮著關鍵作用，這也為一些基于脈沖時序依賴可塑性的學習規(guī)則提供了進一步的實驗解釋。最近兩個模型基于此提出了兩種基于鈣離子濃度的可塑性。其中，文獻[93]基于哺乳動物CA1區(qū)錐體神經(jīng)元上單個樹突棘的生物物理模型，通過描述不同輸入刺激下產(chǎn)生的鈣離子流量的變化，構建了基于鈣離子濃度驅動的激酶和磷酸酶模型。文獻[94]通過不同輸入刺激下鈣離子濃度的變化構建分子級的突觸可塑性規(guī)則，并通過閾值參數(shù)控制長時程增強和長時程抑制。1.3.2內(nèi)在可塑性的主要研究內(nèi)容及現(xiàn)狀不同于突觸強度的調節(jié)，單個神經(jīng)元同樣可以通過改變電壓門控離子通道的方式來改變其自身內(nèi)在興奮性以適應不同的突觸輸入[74,76]。這種神經(jīng)元的內(nèi)在興奮

【參考文獻】：
期刊論文
[1]基于混沌理論與改進回聲狀態(tài)網(wǎng)絡的網(wǎng)絡流量多步預測[J]. 田中大,李樹江,王艷紅,王向東.  通信學報. 2016(03)

博士論文
[1]纖維增強復合材料剩余強度模型及壽命預測方法研究[D]. 高建雄.蘭州理工大學 2019
[2]回聲狀態(tài)網(wǎng)絡時間序列預測方法及應用研究[D]. 黃標兵.吉林大學 2017
[3]基于回聲狀態(tài)網(wǎng)絡的多元時間序列預測研究[D]. 許美玲.大連理工大學 2016
[4]回聲狀態(tài)網(wǎng)絡的結構參數(shù)優(yōu)化及其應用[D]. 王河山.華東理工大學 2016
[5]神經(jīng)網(wǎng)絡協(xié)同學習理論及應用研究[D]. 李雨珂.浙江大學 2015
[6]基于回聲狀態(tài)網(wǎng)絡的非線性時間序列預測方法研究[D]. 王建民.哈爾濱工業(yè)大學 2011
[7]回聲狀態(tài)網(wǎng)絡分類方法及其應用研究[D]. 郭嘉.哈爾濱工業(yè)大學 2011



本文編號：3285719