發(fā)布時(shí)間：2020-03-18 18:03

【摘要】：在傳統(tǒng)模式下，電力系統(tǒng)實(shí)行垂直一體化的管理，電力公司壟斷了電力生產(chǎn)的各個(gè)環(huán)節(jié)。長此以往，該模式將不利于電力行業(yè)的健康持續(xù)發(fā)展。上世紀(jì)90年代，智利率先打破電力壟斷，引入市場機(jī)制。歐美等國緊隨其后紛紛建立電力市場，包括美國的PJM，CaISO，NYISO，英國的NETA以及北歐的Nord pool等。如今，電力市場化已成為世界各國電力行業(yè)發(fā)展的主要趨勢。已有的研究成果和實(shí)際應(yīng)用表明，通過電力市場參與者之間的相互競爭，可以顯著地提升系統(tǒng)效率，降低生產(chǎn)成本，提高電力服務(wù)的質(zhì)量。發(fā)達(dá)國家具有市場經(jīng)濟(jì)的豐富經(jīng)驗(yàn)，在運(yùn)行電力市場方面具有較好的理論基礎(chǔ)，然而南美等國的電力市場實(shí)踐表明，發(fā)展中國家同樣可以發(fā)展適合其自身的電力市場。近年來，亞洲國家也開展了豐富的電力市場研究工作，包括我們越南同樣在積極推動(dòng)電力市場。 在市場環(huán)境下，參與者為獲得更高的利潤，總是不斷優(yōu)化自身的投標(biāo)策略。不同的參與者一方面需要對對手的策略進(jìn)行估計(jì)，另一方面對自身的市場地位進(jìn)行評估，從而制定出合適的策略。然而，市場信息對于參與者而言并不完全，參與者對于自身策略的優(yōu)化具有較大的難度。隨著市場規(guī)模逐步擴(kuò)大，市場環(huán)境變得更加復(fù)雜。如何通過一種有效的學(xué)習(xí)方法進(jìn)行策略的搜索及優(yōu)化，，對于參與者至關(guān)重要。本文針對強(qiáng)化學(xué)習(xí)在電力批發(fā)市場中的應(yīng)用展開研究。為了充分研究發(fā)電成員在市場環(huán)境下的競爭行為，本文圍繞電力市場中發(fā)電商的報(bào)價(jià)策略展開研究，通過加強(qiáng)學(xué)習(xí)算法進(jìn)行報(bào)價(jià)策略的優(yōu)化。本文的研究內(nèi)容分別在第2-6章進(jìn)行了表述，主要包括如下幾個(gè)方面： （1）針對批發(fā)市場進(jìn)行數(shù)學(xué)建模，其內(nèi)容包括批發(fā)市場的結(jié)構(gòu)、運(yùn)行流程、價(jià)格模式等。在該電力市場模型中，發(fā)電商僅有其自己的信息，完全沒有競爭的對手的信息。參與者可以通過策略性的招投標(biāo)來獲得更多的利潤。每次交易完成后，根據(jù)收益對當(dāng)前策略進(jìn)行評估，從而找到最好的策略。最佳的投標(biāo)策略在市場運(yùn)行中具有重要的實(shí)際意義。 （2）加強(qiáng)學(xué)是從動(dòng)物學(xué)習(xí)文獻(xiàn)借來的術(shù)語，其更適合不確定市場環(huán)境下的市場競爭，并常用來為電力市場參與者搜尋最優(yōu)策略。本文中進(jìn)行研究強(qiáng)化學(xué)習(xí)的理論基礎(chǔ)。包括其發(fā)展起源和RE-學(xué)習(xí)、Q-學(xué)習(xí)等方法及其改進(jìn)形式。 （3）將Q學(xué)習(xí)方法應(yīng)用于電力供給商的市場投標(biāo)。通過多次仿真實(shí)驗(yàn)驗(yàn)證該方法的可行性。 （4）將Fuzzy-Q學(xué)習(xí)方法應(yīng)用于電力供給商的策略學(xué)習(xí)。通過將模糊邏輯和Q學(xué)習(xí)相結(jié)合提升算法的適應(yīng)能力。通過仿真實(shí)驗(yàn)進(jìn)行驗(yàn)證該算法變得更靈活與應(yīng)用。 （5）將SA-Q學(xué)習(xí)方法應(yīng)用于動(dòng)態(tài)電力市場。通過退火策略和Q學(xué)習(xí)相結(jié)合提升算法的收斂能力，并通過仿真實(shí)驗(yàn)進(jìn)行驗(yàn)證。 本文圍繞強(qiáng)化學(xué)習(xí)展開電力批發(fā)市場的研究，對于市場參與者優(yōu)化自身策略具有重要意義。當(dāng)前中國和越南對于強(qiáng)化學(xué)習(xí)在電力市場中的應(yīng)用，已有相關(guān)學(xué)者提出，但仍缺乏深入研究。本文的主要成果在于采用不同強(qiáng)化學(xué)習(xí)的方法進(jìn)行比較與優(yōu)化。在如下幾個(gè)方面具有創(chuàng)新性： （1）針對市場環(huán)境的信息不完全等性質(zhì)，創(chuàng)新性地運(yùn)用學(xué)習(xí)理論進(jìn)行策略優(yōu)化和行為特性分析；并對不同參與者投標(biāo)函數(shù)的選擇方法進(jìn)行了分析。 （2）創(chuàng)建了基于強(qiáng)化學(xué)習(xí)的電力批發(fā)市場理論模型；將ε-greedy方法和Boltzmann方法創(chuàng)新性地相結(jié)合應(yīng)用，實(shí)現(xiàn)了發(fā)電商最優(yōu)策略搜索。 （3）在仿真建模過程中，針對不同的強(qiáng)化學(xué)習(xí)方法進(jìn)行參數(shù)優(yōu)化；在傳統(tǒng)的Q學(xué)習(xí)算法中，參數(shù)主要采用靜態(tài)常數(shù)。而在本文的模糊Q學(xué)習(xí)算法中，系數(shù)根據(jù)輸出反饋進(jìn)行了調(diào)整。在市場參數(shù)方面，提出了兩種相關(guān)的市場力指數(shù)來評估市場狀態(tài)。 （4）針對不同算法的優(yōu)劣進(jìn)行了實(shí)用的創(chuàng)新的分析和比較。 （5）根據(jù)實(shí)際情況，提出了一種動(dòng)態(tài)電力市場模型。在模型中，發(fā)電商和負(fù)荷供給商可以在每小時(shí)動(dòng)態(tài)地改變自身的報(bào)價(jià)。投標(biāo)函數(shù)采用階梯形式，從而簡化了參與者的投標(biāo)工作。 總之，本文采用了日前批發(fā)電力市場模式，在此模型中，通過統(tǒng)一的定價(jià)規(guī)則來出清電力價(jià)格，ISO用直流最優(yōu)潮流來確定每個(gè)節(jié)點(diǎn)上的發(fā)電量。在此模型中，參與者可根據(jù)其回報(bào)修改報(bào)價(jià)策略。他們的目標(biāo)是通過強(qiáng)化學(xué)習(xí)算法實(shí)現(xiàn)利潤最大化的目標(biāo)。除此以外，我們給出了動(dòng)態(tài)電力市場的學(xué)習(xí)模型。另外，在本文中，我們研究了多種強(qiáng)化學(xué)習(xí)算法，主要包括Q-學(xué)習(xí)，模糊Q-學(xué)習(xí)和SA-Q學(xué)習(xí)等，并將其應(yīng)用到了日前電力批發(fā)市場的最優(yōu)報(bào)價(jià)策略研究中。模糊Q-學(xué)習(xí)算法提供了十分靈活的參數(shù)選擇空間，而SA-Q學(xué)習(xí)算法往往可以獲得較快的收斂速度。我們還通過ε-greedy方法和Boltzmann方法來平衡搜索過程中的探索和利用。采用的仿真系統(tǒng)包括IEEE6節(jié)點(diǎn)電力系統(tǒng)及IEEE9節(jié)點(diǎn)電力系統(tǒng)和IEEE30節(jié)點(diǎn)電力電系統(tǒng)。所有的計(jì)算模型均基于Matlab環(huán)境下的MATPOWER工具包。大量的仿真實(shí)驗(yàn)為本文相關(guān)方法的可行性提供了可靠保障。研究中取得了一些令人鼓舞的成果，使我們課題組可以更多的參與到電力改革和智能電網(wǎng)研究中。
【學(xué)位授予單位】：湖南大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2013
【分類號】：F416.61

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳皓勇;楊彥;張堯;王野平;荊朝霞;陳青松;;電力市場智能模擬中代理決策模塊的實(shí)現(xiàn)[J];電力系統(tǒng)自動(dòng)化;2008年20期

2 荊朝霞;楊瑩;;EWA算法在電力市場仿真中的應(yīng)用[J];電力系統(tǒng)自動(dòng)化;2010年24期

3 黃杰;薛禹勝;文福拴;許劍冰;薛峰;董朝陽;;電力市場仿真平臺(tái)的評述[J];電力系統(tǒng)自動(dòng)化;2011年09期

4 陳皓勇;譚科;荊朝霞;華棟;王野平;;電力市場綜合模擬系統(tǒng)——實(shí)驗(yàn)方法與系統(tǒng)架構(gòu)研究[J];電力自動(dòng)化設(shè)備;2010年03期

5 伍春;江虹;易克初;;聚類多Agent強(qiáng)化學(xué)習(xí)認(rèn)知無線電資源分配[J];北京郵電大學(xué)學(xué)報(bào);2014年01期

6 張宏偉;胥然然;張雪花;;直飲水設(shè)施最佳成本決策合作博弈模型[J];系統(tǒng)工程;2014年02期

7 全吉;王先甲;;Evolutionary Game Dynamics in a Fitness-Dependent Wright-Fisher Process with Noise[J];Communications in Theoretical Physics;2011年09期

8 王野平;楊彥;荊朝霞;陳皓勇;陳天恩;;智能代理模擬在電力市場中的運(yùn)用[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年03期

9 傅波;陳鑫;何勇;吳敏;;多智能體合作環(huán)境下的分布式強(qiáng)化學(xué)習(xí)[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年S1期

10 張新華;葉澤;;基于暗標(biāo)拍賣理論的最優(yōu)電力競價(jià)機(jī)制分析[J];系統(tǒng)工程理論與實(shí)踐;2007年04期

相關(guān)會(huì)議論文 前1條

1 朱憲辰;章平;;博弈學(xué)習(xí)模型研究進(jìn)展[A];21世紀(jì)數(shù)量經(jīng)濟(jì)學(xué)（第9卷）[C];2008年

相關(guān)博士學(xué)位論文 前10條

1 楊彥;基于博弈論的考慮輸電網(wǎng)絡(luò)約束電力市場均衡分析[D];華南理工大學(xué);2011年

2 艾江鴻;考慮網(wǎng)損的發(fā)電商壟斷行為及其規(guī)制競價(jià)機(jī)制研究[D];重慶大學(xué);2011年

3 黃杰;電力市場動(dòng)態(tài)交互仿真平臺(tái)的設(shè)計(jì)及在排放阻塞研究中的應(yīng)用[D];南京理工大學(xué);2011年

4 劉貞;基于市場交易的電能與環(huán)境協(xié)調(diào)激勵(lì)電價(jià)機(jī)制設(shè)計(jì)[D];重慶大學(xué);2008年

5 甘德一;我國電力供需側(cè)市場設(shè)計(jì)及其要素與關(guān)鍵問題研究[D];華北電力大學(xué)（北京）;2010年

6 宋恒力;流域梯級水電站聯(lián)盟策略的博弈研究[D];華中科技大學(xué);2013年

7 王睿;低碳發(fā)電調(diào)度模式及其電價(jià)機(jī)制研究[D];華北電力大學(xué);2013年

8 金鵬;公平偏好下國企高管最優(yōu)顯性和隱性激勵(lì)組合研究[D];湖南大學(xué);2012年

9 王沖;基于Agent的對地觀測衛(wèi)星分布式協(xié)同任務(wù)規(guī)劃研究[D];國防科學(xué)技術(shù)大學(xué);2011年

10 王婕妤;收費(fèi)公路產(chǎn)業(yè)提高經(jīng)濟(jì)績效的市場結(jié)構(gòu)優(yōu)化研究[D];長安大學(xué);2013年

相關(guān)碩士學(xué)位論文 前7條

1 寧斌;基于STV戰(zhàn)略論的商貿(mào)批發(fā)市場經(jīng)營模式研究[D];廣西師范大學(xué);2011年

2 趙雯硯;初始排污權(quán)定價(jià)模型研究[D];吉林大學(xué);2013年

3 蘇蠡;遼寧省電力公司建設(shè)工程非物資招標(biāo)設(shè)計(jì)與評價(jià)研究[D];華北電力大學(xué);2013年

4 李淑穎;水污染物排污權(quán)初始分配和交易定價(jià)研究[D];哈爾濱工業(yè)大學(xué);2012年

5 馬阿瑾;高速公路交通事故持續(xù)時(shí)間和影響范圍研究[D];長安大學(xué);2013年

6 范杰;基于智能代理模型的華東電網(wǎng)跨省電能集中競價(jià)市場與調(diào)峰市場仿真研究[D];上海大學(xué);2013年

7 郝亞楠;排污權(quán)交易對污染減排效果研究[D];浙江理工大學(xué);2014年

本文編號：2588999