能源是目前人類賴以生存的重要保證,節(jié)能減排、清潔能源成為了現如今世界能源經濟發(fā)展的重要方向。而在這個信息技術不斷發(fā)展的今天,微電網作為一種綠色環(huán)保、持續(xù)且高效的電力系統(tǒng),被業(yè)界廣泛認為是一個技術平臺開闊、有著廣闊市場前景的新興方向。而針對不斷發(fā)展的微電網技術,各國學者們也提出了許多關于其優(yōu)化以及控制策略的理論,其中強化學習是機器學習中較為熱門的優(yōu)化算法,也可以應用于微電網中。本文將針對不同類型的微電網,構建不同的數學模型,提出不同的優(yōu)化目標。根據馬爾可夫決策模型,將連續(xù)的調度過程離散化,結合強化學習算法求解出最優(yōu)的調度方案,并分別針對不同數學維度的場景,對算法進行遞進加深,本文的貢獻如下:1.在傳統(tǒng)強化學習的基礎上,針對性地融入了異步的概念,并分析其收斂性,在原有算法基礎上提出了“增益經驗復用”以及動態(tài)決策的概念,適用于較低維度的數學模型。針對居民園區(qū)微電網場景,通過分析其模型特性,確定了控制手段,構成了電價引導式的居民園區(qū)調度策略。同時根據其用電負荷以及用戶端需求,確立了三個優(yōu)化目標并通過線性疊加成為單目標優(yōu)化問題,然后通過理論分析確定該模型為較低維度的數學矩陣,最后在理論以及仿真中... 

【文章頁數】：86 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 國內外微電網現狀
    1.3 研究方法現狀
    1.4 研究內容及論文架構
第二章 智能電網框架以及算法理論
    2.1 智能電網框架
    2.2 能源系統(tǒng)數學模型
        2.2.1 風能數學模型
        2.2.2 光伏發(fā)電數學模型
        2.2.3 蓄電池系統(tǒng)模型
        2.2.4 P2G數學模型
        2.2.5 V2G數學模型
    2.3 能源調度策略
    2.4 日前調度預測模型
    2.5 基于強化學習算法的能源調度
        2.5.1 蒙特卡洛與馬爾科夫決策理論
        2.5.2 Q-learning 算法
        2.5.3 Sarsa算法
    2.6 本章小結
第三章 基于異步強化學習的居民園區(qū)微電網能源調度研究
    3.1 數學模型
        3.1.1 基于電價引導的居民園區(qū)微電網模型
        3.1.2 優(yōu)化目標
        3.1.3 約束條件
    3.2 異步強化學習
        3.2.1 異步Q-learning
        3.2.2 異步 Q-learning 以及微電網效益收斂性分析
        3.2.3 算法偽代碼
    3.3 動態(tài)異步強化學習
        3.3.1 動態(tài)異步Q-learning
        3.3.2 動態(tài)決策算法流程
    3.4 基于動態(tài)異步 Q-learning 的微電網能源調度
        3.4.1 數學模型
        3.4.2 算法流程
    3.5 仿真結果分析
        3.5.1 算例仿真
        3.5.2 收斂性及參數靈敏度分析
        3.5.3 目標結果分析
    3.6 本章小結
第四章 基于GA-強化學習的工業(yè)園區(qū)微電網能源調度研究
    4.1 基于單微電網的數學模型
        4.1.1 工業(yè)園區(qū)微電網模型
        4.1.2 優(yōu)化目標
        4.1.3 約束條件
        4.1.4 多屬性評價指標
    4.2 基于多微電網的數學模型
        4.2.1 多個工業(yè)園區(qū)微電網模型
        4.2.2 約束條件
        4.2.3 微電網電能交易博弈模型
    4.3 GA-Q算法
    4.4 GA-DQSA算法
        4.4.1 DQSA算法
        4.4.2 基于GA的決策過程
    4.5 基于 GA-DQSA 算法的微電網能源調度
    4.6 仿真結果
        4.6.1 算例分析
        4.6.2 收斂性及參數靈敏度分析
        4.6.3 效益評估分析
        4.6.4 目標函數分析
    4.7 本章小結
第五章 總結
    5.1 全文總結
    5.2 后續(xù)工作與進展
致謝
參考文獻
攻讀碩士學位期間取得的成果


【參考文獻】：
期刊論文
[1]強化學習研究綜述[J]. 高陽,陳世福,陸鑫.  自動化學報. 2004(01)
[2]基于用戶價格響應和滿意度的峰谷分時電價決策模型[J]. 丁偉,袁家海,胡兆光.  電力系統(tǒng)自動化. 2005(20)
[3]RLGA:一種基于強化學習機制的遺傳算法[J]. 王本年,高陽,陳兆乾,謝俊元,陳世福.  電子學報. 2006(05)
[4]微電網的研究現狀及在我國的應用前景[J]. 鄭漳華,艾芊.  電網技術. 2008(16)
[5]微電網技術及發(fā)展概況[J]. 左文霞,李澍森,吳夕科,程軍照.  中國電力. 2009(07)
[6]分布式發(fā)電、微網與智能配電網的發(fā)展與挑戰(zhàn)[J]. 王成山,李鵬.  電力系統(tǒng)自動化. 2010(02)
[7]基于影響出行滿意度的出行方式優(yōu)化研究[J]. 楊松堯.  赤峰學院學報(自然科學版). 2012(08)
[8]基于Elman神經網絡的電力負荷預測模型研究[J]. 石黃霞,何穎,董曉紅.  工業(yè)儀表與自動化裝置. 2013(01)
[9]電動汽車參與V2G的最優(yōu)峰谷電價研究[J]. 項頂,宋永華,胡澤春,徐智威.  中國電機工程學報. 2013(31)
[10]車網互聯(lián)（V2G）支持高峰電力的技術經濟分析[J]. 廖強強,周國定,葛紅花,蔣心澤,張宇,錢虹,李曉華,張沈陽.  中國電力. 2012(04)

碩士論文
[1]基于異步方法的強化學習研究[D]. 趙星宇.中國礦業(yè)大學 2019
[2]基于強化學習的微電網電能交易研究[D]. 周長華.廈門大學 2017
[3]智能電網中V2G系統(tǒng)能量管理及應用研究[D]. 鐘偉鋒.廣東工業(yè)大學 2016
[4]儲能系統(tǒng)能量調度與需求響應聯(lián)合優(yōu)化控制[D]. 高雪瑩.合肥工業(yè)大學 2015
[5]微電網建模及其控制策略研究[D]. 徐豐.南京理工大學 2013
[6]并行強化學習研究[D]. 楊旭東.蘇州大學 2012
[7]基于V2G應用的車載充放電機的研究與設計[D]. 張宏坡.華南理工大學 2012
[8]電動汽車大規(guī)模接入對電網的影響分析[D]. 寇凌峰.華北電力大學（北京） 2011
[9]基于模擬退火-Q學習的移動機器人路徑規(guī)劃技術研究[D]. 郭娜.南京理工大學 2009



本文編號：3692526