【摘要】：隨著我國城市的迅速發(fā)展,大型公共建筑的數(shù)量不斷增加,建筑高能耗問題日益突顯,因此建筑節(jié)能成為當前建筑智能領域的一項研究重點。能耗預測是能耗優(yōu)化的重要前提,通過對能耗預測結(jié)果進行分析,可以為建筑節(jié)能提供依據(jù)。大型公共建筑是一個復雜的非線性系統(tǒng),這使得能耗預測變得困難,而且能耗預測需要采集大量不同狀態(tài)的能耗樣本,但是樣本的采集成本較高。強化學習是一種能夠在與環(huán)境的交互中采集樣本的學習方法,通過與環(huán)境交互獲得樣本,學習從環(huán)境到動作的映射,最終目標是最大化累積獎賞,并獲得最優(yōu)策略,其主要優(yōu)點在于自學習。本文圍繞如何利用強化學習方法對建筑能耗預測展開研究,通過生成對抗網(wǎng)絡生成與歷史能耗相似的樣本以解決真實能耗樣本不足的問題,然后將強化學習中Q學習算法用于建筑能耗預測。同時,為了提高算法性能以及能耗預測準確率,引入深度學習與值函數(shù)近似方法,構(gòu)建深度Q網(wǎng)絡。本文主要內(nèi)容包括以下三部分:(1)針對將強化學習應用于能耗預測中存在真實能耗樣本不足的問題,首先提出一種基于生成對抗網(wǎng)絡的強化學習算法。該算法在訓練初期通過隨機策略收集經(jīng)驗樣本以構(gòu)成真實樣本池,并利用所收集的經(jīng)驗樣本訓練生成對抗網(wǎng)絡,然后利用生成對抗網(wǎng)絡生成新的樣本構(gòu)成虛擬樣本池,再結(jié)合真實樣本池以及虛擬樣本池共同選擇訓練樣本。最后,將該算法應用于OpenAI Gym仿真平臺中的強化學習問題,實驗結(jié)果表明,該算法可以有效解決強化學習任務初期經(jīng)驗樣本不足的問題。(2)將第一部分所提出的算法應用于建筑能耗預測,提出一種基于生成對抗網(wǎng)絡的Q學習能耗預測算法。該算法將能耗預測問題建模為時間序列預測問題,然后結(jié)合Q學習算法,預測未來時刻建筑能耗。同時,引入生成對抗網(wǎng)絡,結(jié)合真實樣本,生成新的建筑能耗樣本,以解決建筑能耗樣本不足的問題。最后,基于美國巴爾的摩燃氣和電力公司的建筑能耗數(shù)據(jù),將所提出的算法進行實驗分析,實驗結(jié)果表明,所提出的算法可以有效地預測未來時刻建筑能耗。(3)針對將Q學習算法應用于非線性能耗預測性能較低的問題,提出一種基于生成對抗網(wǎng)絡的深度Q學習能耗預測算法。該算法引入深度神經(jīng)網(wǎng)絡,構(gòu)建深度Q網(wǎng)絡計算動作值函數(shù),輸入為狀態(tài),輸出為每個動作的動作值函數(shù),用值函數(shù)近似方法來避免Q學習在大狀態(tài)空間中,算法性能較差,甚至無法收斂的問題。實驗結(jié)果表明,所提出的算法可以進一步提高建筑能耗預測準確率。
【圖文】：

那么稱策略π 為最優(yōu)策略。最優(yōu)策略也許會有多個，，但是它們都享同一個動作值函數(shù)，如公式(4.3)所示：( , ) max [ | , , ]t t tQ s a E R s s a aππ = = = (4.3)公式(4.3)被稱為最優(yōu)動作值函數(shù)，且最優(yōu)動作值函數(shù)遵循貝爾曼最優(yōu)方程，公式(4.4)所示：'~'( , ) [ max ( ', ') | , ]s SaQ s a E r γQ s a s a = + (4.4)在傳統(tǒng)的強化學習任務中，Q 學習算法首先初始化所有狀態(tài)動作對的 Q 值，后通過迭代貝爾曼方程求解 Q 值函數(shù)，如公式(4.5)所示：1 '~'( , ) [ max ( ', ') | , ]i s S iaQ s a E r γQ s a s a+= + (4.5)其中，當i → ∞ 時，iQ Q → ，通過不斷地迭代會使得動作值函數(shù)最終收斂，而得到最優(yōu)策略 argmax ( , )a AπQ s a ∈= 。2 能耗預測算法原理
【學位授予單位】：蘇州科技大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TU201.5;TP18

【參考文獻】

相關期刊論文 前1條

1 李建;陳烈;茅林明;;支持向量機在建筑能耗預測中的應用[J];建筑節(jié)能;2014年12期

相關博士學位論文 前1條

1 馮可梁;建筑能耗分析與決策方法及其在北京市應用研究[D];北京理工大學;2014年

相關碩士學位論文 前2條

1 楊文人;基于能耗預測模型的能源管理系統(tǒng)研究與實現(xiàn)[D];華南理工大學;2013年

2 肖丹;公共建筑能耗分析的數(shù)據(jù)挖掘方法研究與系統(tǒng)開發(fā)[D];重慶大學;2012年

本文編號：2664287