通過將計算和存儲資源廣泛地分布到更接近用戶或數(shù)據(jù)源的網(wǎng)絡(luò)邊緣,移動邊緣計算(Mobile Edge Computing,MEC)支持在無線接入網(wǎng)內(nèi)完成移動應(yīng)用的計算卸載過程,大幅降低了網(wǎng)絡(luò)的端到端時延,并有效減輕了核心網(wǎng)和數(shù)據(jù)中心的處理壓力。計算卸載決策,包括用戶側(cè)卸載決策(如任務(wù)是否卸載、如何卸載以及何時卸載)和運營商側(cè)卸載決策(如是否允許用戶卸載、分配多少資源進行卸載),是MEC能否提升用戶體驗的關(guān)鍵。由于MEC環(huán)境的復(fù)雜性,影響卸載決策的因素眾多,如何設(shè)計最優(yōu)的卸載決策策略,以充分挖掘MEC在時延、能耗上的性能增益,是非常具有挑戰(zhàn)性的科學(xué)問題。任務(wù)調(diào)度與資源管理是MEC卸載決策過程中需要考慮的兩個重要因素。一方面,MEC環(huán)境本質(zhì)上是一個分布式異構(gòu)并行計算環(huán)境,只有對任務(wù)進行合理調(diào)度,才能充分發(fā)揮該計算環(huán)境的性能優(yōu)勢。若考慮網(wǎng)絡(luò)環(huán)境的動態(tài)變化,則還需要對任務(wù)卸載的時機進行調(diào)度決策。另一方面,由于網(wǎng)絡(luò)邊緣的資源有限,必須對這些資源進行合理分配以充分發(fā)揮它們的效用。在用戶較多的情況下,還需要對是否允許用戶卸載進行決策(即準(zhǔn)入決策),避免資源的過度競爭。在此背景下,本文分別針對用戶視角下... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：152 頁

【學(xué)位級別】：博士

【部分圖文】：

移動邊緣計算網(wǎng)絡(luò)結(jié)構(gòu)示意圖

電子科技大學(xué)博士學(xué)位論文3.4基于DRL的任務(wù)卸載調(diào)度本節(jié)基于當(dāng)前最優(yōu)的DRL算法PPO來學(xué)習(xí)該MDP的最優(yōu)卸載調(diào)度策略。首先介紹了用于近似該卸載調(diào)度策略的神經(jīng)網(wǎng)絡(luò)架構(gòu)。然后設(shè)計了基于PPO的策略網(wǎng)絡(luò)訓(xùn)練算法。最后討論了幾種提高訓(xùn)練過程效率的方法。3.4.1神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計本節(jié)同樣采用共享參數(shù)的DNN架構(gòu)來設(shè)計該MDP的策略網(wǎng)絡(luò)和價值網(wǎng)絡(luò)。所設(shè)計的DNN架構(gòu)如圖3-3所示。其中，策略網(wǎng)絡(luò)(an|sn)用于訓(xùn)練，以盡可能擬合最優(yōu)策略；價值網(wǎng)絡(luò)v(sn)則用作估計函數(shù)。兩個網(wǎng)絡(luò)共享大部分網(wǎng)絡(luò)結(jié)構(gòu)（網(wǎng)絡(luò)層和對應(yīng)的參數(shù)）并且具有相同的輸入（均為任一系統(tǒng)狀態(tài)sn2S）。不同的是，在共享的FC層之后，策略網(wǎng)絡(luò)采用softmax層來輸出卸載調(diào)度動作的概率分布；而價值網(wǎng)絡(luò)則仍然采用FC層來輸出狀態(tài)價值。!"#(%|")圖3-3共享參數(shù)DNN架構(gòu)設(shè)計如3.3.1節(jié)所述，該MDP的狀態(tài)空間非常巨大。僅使用簡單的FC網(wǎng)絡(luò)架構(gòu)對卸載調(diào)度策略進行擬合會使得訓(xùn)練效率和訓(xùn)練結(jié)果均不理想。通過對狀態(tài)空間的觀察可以發(fā)現(xiàn)，對每一個狀態(tài)s=(Q,slpu,sdtu,sms,x,d)，其大多數(shù)狀態(tài)參數(shù)是用來描述任務(wù)隊列的，即Q。由于Q具有固定的矩陣形式并且所存儲的數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)，因此將CNN網(wǎng)絡(luò)結(jié)構(gòu)嵌入到所設(shè)計的DNN架構(gòu)中，以高效提取任務(wù)隊列特68


本文編號：2938749