儲備池計算（Reservoir Computing）模型結構簡單、訓練高效,是一種訓練循環(huán)神經(jīng)網(wǎng)絡的新型計算方法。目前已經(jīng)在動態(tài)系統(tǒng)識別、時間序列預測等領域中得到了廣泛的應用。然而,相比于深層次的深度學習模型,儲備池計算模型層次結構單一化（只有隨機固定的單個隱含層）,唯一需要訓練的網(wǎng)絡輸出權值也僅僅依賴于簡單的回歸工具。因此儲備池計算目前還尚未能應用于更廣泛的時間序列應用領域,例如動作識別。本文擬基于典型的儲備池計算模型——回聲狀態(tài)網(wǎng)絡（Echo State Network,ESN）,探索儲備池計算與深度學習在模型思想、技術等方面結合的可能性,提出兩種新型的深度儲備池計算模型。具體地,本文研究工作主要包括在以下兩個方面:1)提出一種新型的層次化儲備池計算模型——深度儲備池網(wǎng)絡（Deep Reservoir Network,DRN）。該模型通過多重投影與編碼的交替方式疊加儲備池和無監(jiān)督編碼器。各層的儲備池與最后的輸出層之間均有需要學習的輸出連邊,并且這些輸出連邊的權值可以通過簡單的回歸方程求解。該模型在保證傳統(tǒng)儲備池計算簡單、高效的學習特點（不依賴于時間方向上的梯度反向傳播過程）的同時,... 

【文章來源】：華南理工大學廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：82 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究動態(tài)
    1.3 研究動態(tài)分析與總結
    1.4 本文主要研究內(nèi)容及其安排
第二章 儲備池計算模型基礎
    2.1 回聲狀態(tài)網(wǎng)絡模型
    2.2 儲備池中的超參數(shù)
    2.3 儲備池系統(tǒng)的穩(wěn)定性條件
    2.4 本章小結
第三章 基于多重投影編碼的深度儲備池網(wǎng)絡
    3.1 研究動機
    3.2 深度儲備池網(wǎng)絡
    3.3 編碼器的選擇
    3.4 超參數(shù)優(yōu)化
    3.5 穩(wěn)定性分析
    3.6 實驗部分
        3.6.1 時間序列預測實驗
        3.6.2 拓展多項式系統(tǒng)的識別實驗
        3.6.3 超參數(shù)靈敏度分析實驗
        3.6.4 多尺度動態(tài)的可視化分析
    3.7 本章小結
第四章 基于卷積回聲狀態(tài)網(wǎng)絡的時序分類模型
    4.1 研究動機
    4.2 卷積回聲狀態(tài)網(wǎng)絡
        4.2.1 基于儲備池系統(tǒng)的回聲狀態(tài)編碼
        4.2.2 基于卷積的多尺度解碼
        4.2.3 損失函數(shù)與訓練算法
    4.3 面向動作識別的卷積回聲狀態(tài)網(wǎng)絡擴展模型
        4.3.1 人體骨骼節(jié)點數(shù)據(jù)的結構劃分
        4.3.2 基于多步通道融合策略的拓展模型
    4.4 基于UCR時序數(shù)據(jù)庫的分類實驗
        4.4.1 UCR時序數(shù)據(jù)庫介紹
        4.4.2 數(shù)據(jù)預處理與模型設置
        4.4.3 實驗結果
    4.5 基于人體骨骼節(jié)點序列的動作識別任務
        4.5.1 數(shù)據(jù)集介紹
        4.5.2 數(shù)據(jù)預處理與實驗設置
        4.5.3 實驗結果
    4.6 本章小結
第五章 結論和展望
參考文獻
攻讀碩士學位期間取得的研究成果
致謝
附件


【參考文獻】：
期刊論文
[1]儲備池計算硬件實現(xiàn)方案研究進展[J]. 李磊,方捻,王陸唐,黃肇明.  激光與光電子學進展. 2017(08)
[2]一種增量式模塊化回聲狀態(tài)網(wǎng)絡[J]. 李凡軍,喬俊飛.  控制與決策. 2016(08)
[3]基于小世界回聲狀態(tài)網(wǎng)的時間序列預測[J]. 倫淑嫻,林健,姚顯雙.  自動化學報. 2015(09)
[4]一種基于L1范數(shù)正則化的回聲狀態(tài)網(wǎng)絡[J]. 韓敏,任偉杰,許美玲.  自動化學報. 2014(11)
[5]儲備池計算概述[J]. 彭宇,王建民,彭喜元.  電子學報. 2011(10)
[6]回響狀態(tài)網(wǎng)絡輸出連接權重的一個穩(wěn)定訓練方法[J]. 宋青松,馮祖仁,李人厚.  控制與決策. 2011(01)
[7]基于Kalman濾波的儲備池多元時間序列在線預報器[J]. 韓敏,王亞楠.  自動化學報. 2010(01)



本文編號：3203308