【摘要】：伴隨著移動互聯(lián)網(wǎng),物聯(lián)網(wǎng),大數(shù)據(jù)以及云計算的發(fā)展,網(wǎng)絡(luò)用戶數(shù)量和網(wǎng)絡(luò)規(guī)模飛速增長,同時網(wǎng)絡(luò)業(yè)務(wù)日益多樣化,網(wǎng)絡(luò)結(jié)構(gòu)也越來越復(fù)雜。面對網(wǎng)絡(luò)中呈爆炸性增長的流量,如何通過合理的控制和調(diào)度方法來實現(xiàn)網(wǎng)絡(luò)流量的負(fù)載均衡,避免網(wǎng)絡(luò)擁塞的發(fā)生,從而保證網(wǎng)絡(luò)服務(wù)質(zhì)量,提高網(wǎng)絡(luò)吞吐率已經(jīng)成為了計算機網(wǎng)絡(luò)領(lǐng)域越發(fā)重要的研究課題。不論是在因云計算和互聯(lián)網(wǎng)而興起的大量數(shù)據(jù)中心網(wǎng)絡(luò)中,還是在十幾年來不斷更新?lián)Q代的骨干網(wǎng)和局域網(wǎng)通信網(wǎng)絡(luò)中,傳統(tǒng)的流量調(diào)度和擁塞控制解決方案都顯得越來越力不從心。這是由于傳統(tǒng)解決方案往往是針對于某些具體網(wǎng)絡(luò)和流量場景的,隨著新的網(wǎng)絡(luò)結(jié)構(gòu)和流量模式不斷出現(xiàn),針對具體網(wǎng)絡(luò)場景的解決方案將不再適用于新的環(huán)境,因此有必要提出一種適用性廣泛的智能網(wǎng)絡(luò)流量控制方案。最近幾年,歸功于計算機硬件運算能力的提升,深度學(xué)習(xí)(Deep Learning,DL)得到了巨大的成功。與此同時,結(jié)合了DL和強化學(xué)習(xí)(Reinforcement Learning,RL)的深度強化學(xué)習(xí)(Deep Reinforcement Learning,DRL)也在很多領(lǐng)域取得了突破性的進展,其在機器人和工業(yè)自動化領(lǐng)域的表現(xiàn)證明了深度強化學(xué)習(xí)在智能控制的實現(xiàn)上有著的巨大潛力。與此同時,軟件定義網(wǎng)絡(luò)(Software Defined Network,SDN)的出現(xiàn)和發(fā)展使得網(wǎng)絡(luò)的控制變得更加高效和方便。這些都為實現(xiàn)更加智能的網(wǎng)絡(luò)流量控制方案提供了新的機遇。本文對網(wǎng)絡(luò)流量控制的問題進行了研究,并結(jié)合深度強化學(xué)習(xí)路由策略優(yōu)化和SDN流量控制提出了一種新型的智能網(wǎng)絡(luò)流量控制方案。本文主要研究內(nèi)容和創(chuàng)新點如下:1.基于深度強化學(xué)習(xí)的網(wǎng)絡(luò)流量調(diào)度算法本文首先對數(shù)據(jù)中心網(wǎng)絡(luò)中的負(fù)載均衡和流量調(diào)度問題進行了研究,分析了目前數(shù)據(jù)中心網(wǎng)絡(luò)中常見的幾種流量調(diào)度方案以及其所存在的問題。在此基礎(chǔ)上,本文以網(wǎng)絡(luò)路由策略優(yōu)化為目標(biāo)進行了網(wǎng)絡(luò)流量調(diào)度問題的建模并提出了基于深度強化學(xué)習(xí)的網(wǎng)絡(luò)流量調(diào)度算法,同時對于算法中的流量調(diào)度順序問題,創(chuàng)新性地提出了流調(diào)度優(yōu)先級算法。2.基于深度強化學(xué)習(xí)和SDN架構(gòu)的智能網(wǎng)絡(luò)流量控制方案在基于深度強化學(xué)習(xí)的網(wǎng)絡(luò)流量調(diào)度算法基礎(chǔ)上,本文結(jié)合SDN架構(gòu)提出了系統(tǒng)性的智能網(wǎng)絡(luò)流量控制方案,該方案通過基于深度強化學(xué)習(xí)的網(wǎng)絡(luò)流量調(diào)度算法來計算網(wǎng)絡(luò)的全局最優(yōu)路由策略,而SDN控制器則為流量調(diào)度決策提供相應(yīng)的網(wǎng)絡(luò)流量信息,并根據(jù)決策輸出進行相應(yīng)的流量調(diào)度和控制,從而實現(xiàn)網(wǎng)絡(luò)的負(fù)載均衡。3.不同拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)下的仿真對比驗證為了驗證基于深度強化學(xué)習(xí)的網(wǎng)絡(luò)流量調(diào)度算法對不同拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的實用性,本文在Fat-tree和隨機拓?fù)浣Y(jié)構(gòu)兩種仿真網(wǎng)絡(luò)環(huán)境中對算法進行了測試,同時以幾種傳統(tǒng)的流量調(diào)度算法作為對比以評估算法的實際效果。仿真實驗的結(jié)果表明,不論是在典型數(shù)據(jù)中心網(wǎng)絡(luò)還是隨機拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)中,基于深度強化學(xué)習(xí)的智能網(wǎng)絡(luò)流量調(diào)度算法都能夠比傳統(tǒng)流量調(diào)度算法更有效地提高網(wǎng)絡(luò)平均吞吐率,改善網(wǎng)絡(luò)質(zhì)量。
【圖文】：

發(fā)展進入了爆發(fā)期。逡逑S緬義賢跡玻采疃壬窬縋Ｐ褪疽饌煎義賢跡玻彩且桓齔＜納疃壬窬縋Ｐ�，由谆e劣曳直鶚鞘淙氬悖ǎ椋睿穡酰翦義希歟幔澹潁�，两个隐藏层（ｈｉｄｄｅｈp澹歟幔輳蓿潁┮約笆涑霾悖ǎ錚酰簦穡酰翦澹歟幔澹潁�。从模型结构蓚b村義纖擔(dān)�，深度学习的模型均为多层结构，每查斏覛gㄊ康腦慫愕ピㄒ渤莆獃L經(jīng)元）逡逑１６逡逑

深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為卷積神經(jīng)網(wǎng)絡(luò)，輸入為當(dāng)前最近的４幀圖像，圖像在被輸入逡逑前會經(jīng)過預(yù)處理，圖像數(shù)據(jù)在輸入后會經(jīng)過兩個卷積層，之后經(jīng)過兩個全連接層，逡逑最終在輸出層輸出所有可選動作的狀態(tài)－動作值（Ｑ值），模型的架構(gòu)如圖２－３所逡逑不。逡逑卷積層邐卷積層邐全連接層邐全連接層逡逑%煎

本文編號：2612753