針對隨機(jī)動態(tài)規(guī)劃在求解風(fēng)電—抽蓄聯(lián)合系統(tǒng)日隨機(jī)優(yōu)化時出現(xiàn)的維數(shù)災(zāi)問題,提出采用強(qiáng)化學(xué)習(xí)的SARSA算法來解決。首先分析了風(fēng)電出力隨機(jī)性并采用Beta分布來表示風(fēng)電出力的概率分布;然后建立了風(fēng)蓄聯(lián)合系統(tǒng)實際出力與計劃出力偏差平方最小為目標(biāo)函數(shù)的日隨機(jī)優(yōu)化模型;最后說明利用SARSA算法求解該問題的步驟。算例應(yīng)用結(jié)果表明,利用SARSA算法求解該問題需迭代一定次數(shù)才收斂,且算法的學(xué)習(xí)率隨迭代次數(shù)增加而減小時可加快算法收斂速度;將SARSA算法與隨機(jī)動態(tài)規(guī)劃算法相比,在優(yōu)化結(jié)果接近的情況下,SARSA算法計算時間減少約35%,該算法為解決隨機(jī)多能互補(bǔ)問題提供了新思路。 

【文章來源】：水電能源科學(xué). 2020,38(11)北大核心

【文章頁數(shù)】：5 頁

【部分圖文】：

SARSA算法在風(fēng)蓄聯(lián)合日隨機(jī)優(yōu)化中應(yīng)用流程圖

風(fēng)蓄聯(lián)合系統(tǒng)的次日計劃出力曲線及風(fēng)電出力預(yù)測曲線見圖2。由圖2可看出，風(fēng)電出力具有較強(qiáng)的波動性，變化區(qū)間較大；且表現(xiàn)出一定的反調(diào)峰特性，負(fù)荷需求在中午（11:00～14:00）以及傍晚（17:00～21:00）時較高，在夜間需求較低；而風(fēng)電出力在夜間較高，在白天時較低。5.1.2 數(shù)據(jù)準(zhǔn)備

SARSA算法通過不斷迭代試錯來逐步選取每個狀態(tài)下的最優(yōu)動作。在迭代初始階段，算法Q值表值均為默認(rèn)，與各元素的最優(yōu)值存在很大的差距，因此迭代次數(shù)較少時，系統(tǒng)動作更多為隨機(jī)探索，實際出力與計劃出力曲線偏差較大；經(jīng)過了一定次數(shù)迭代后，通過不斷試錯，Q值表內(nèi)各元素值都已經(jīng)更新，各個狀態(tài)下所采取的動作接近或收斂于最優(yōu)值，計劃出力與實際出力曲線的擬合度較高。圖3為不同迭代次數(shù)下，風(fēng)電-抽蓄聯(lián)合系統(tǒng)實際出力曲線的優(yōu)化結(jié)果。由圖3可看出，當(dāng)?shù)螖?shù)達(dá)5 000次后，Q值表內(nèi)的各元素基本更新完畢，已逼近最優(yōu)解，風(fēng)電-抽蓄聯(lián)合系統(tǒng)的出力曲線與計劃曲線大致重合，出力偏差最小。5.2.2 不同學(xué)習(xí)率下的優(yōu)化結(jié)果分析

【參考文獻(xiàn)】：
期刊論文
[1]基于SARSA算法的水庫長期隨機(jī)優(yōu)化調(diào)度研究[J]. 李文武,張雪映,Daniel Eliote Mbanze,吳巍.  水電能源科學(xué). 2018(09)
[2]基于強(qiáng)化學(xué)習(xí)方法的風(fēng)儲合作決策[J]. 劉國靜,韓學(xué)山,王尚,楊明,王明強(qiáng).  電網(wǎng)技術(shù). 2016(09)
[3]基于動態(tài)離散電價協(xié)約的風(fēng)電-抽蓄聯(lián)合日運(yùn)行優(yōu)化研究[J]. 游文霞,�？�,李文武,盧姬.  水電能源科學(xué). 2015(12)
[4]風(fēng)電和抽水蓄能聯(lián)合送出時大型風(fēng)電最優(yōu)入網(wǎng)規(guī)模研究[J]. 李惠玲,張志強(qiáng),唐曉駿,鄭超,李順昕,楊金剛.  電網(wǎng)技術(shù). 2015(10)
[5]基于貝塔分布的風(fēng)電功率波動區(qū)間估計[J]. 劉興杰,謝春雨.  電力自動化設(shè)備. 2014(12)
[6]基于機(jī)會約束規(guī)劃的風(fēng)–蓄聯(lián)合動態(tài)經(jīng)濟(jì)調(diào)度[J]. 于佳,任建文,周明.  電網(wǎng)技術(shù). 2013(08)
[7]風(fēng)電—抽水蓄能聯(lián)合日運(yùn)行優(yōu)化調(diào)度模型[J]. 胡澤春,丁華杰,孔濤.  電力系統(tǒng)自動化. 2012(02)
[8]計及風(fēng)電功率不確定性的經(jīng)濟(jì)調(diào)度問題求解方法[J]. 張昭遂,孫元章,李國杰,程林,林今.  電力系統(tǒng)自動化. 2011(22)



本文編號：3126126