發(fā)布時間：2024-03-15 04:37

　　突發(fā)流量在網(wǎng)絡(luò)中非常普遍,會嚴(yán)重?fù)p害用戶體驗(yàn)。突發(fā)流量往往能在短時間(如毫秒級別)內(nèi)充滿鏈路,導(dǎo)致網(wǎng)絡(luò)擁塞和頻繁分組丟失,端到端時延增加。傳統(tǒng)路由算法要么是流量無關(guān)(如OSPF(open shortest path first,開放式最短路徑優(yōu)先))的,無法對實(shí)時流量的變化做出調(diào)整;要么是集中式控制的(如線性規(guī)劃),面臨求解時延過大而無法有效應(yīng)對突發(fā)流量的問題。提出了一種新的智能路由算法解決突發(fā)流量的問題。一方面,提出的算法能利用機(jī)器學(xué)習(xí)強(qiáng)大的建模能力,通過對網(wǎng)絡(luò)歷史數(shù)據(jù)的挖掘來學(xué)習(xí)"隱式"的路由決策依據(jù)。另一方面,提出的算法能借助機(jī)器學(xué)習(xí)的快速推理能力降低決策時延,提高系統(tǒng)對突發(fā)流量的響應(yīng)速度。實(shí)驗(yàn)結(jié)果表明,在真實(shí)流量數(shù)據(jù)集下,相比較其他路由算法,提出的智能路由算法能降低13%～70%的瓶頸鏈路利用率。

【文章頁數(shù)】：9 頁

【部分圖文】：

圖4在Abilene數(shù)據(jù)集下的MLUratio性能對比

首先，在Abilene數(shù)據(jù)集下的MLUratio性能對比如圖4所示。在Abilene數(shù)據(jù)集下，本文算法能取得平均1.31的MLUratio性能，而DRL-TE、SP、KSP、ECMP和OR分別取得1.51、1.82、4.2、2.31和2.52的MLUratio的性能。本文算....

圖2智能節(jié)點(diǎn)示意圖

本節(jié)介紹強(qiáng)化學(xué)習(xí)智能體（包括動作、狀態(tài)和獎勵3部分）的建模過程。(1）策略和動作

圖3多智能體強(qiáng)化學(xué)習(xí)的建模

其次，本文采用5種典型路由算法作為對比實(shí)驗(yàn)，它們分別是最短路優(yōu)先算法（shortestpathfirst,SPF）、K條最短路徑（K-shortest-path,KSP）等價(jià)多路徑（equal-costmulti-path,ECMP)[4]，深度強(qiáng)化學(xué)習(xí)—流量工程（deep....

圖1智能路由體系架構(gòu)

本文基于深度強(qiáng)化學(xué)習(xí)的準(zhǔn)確建模能力和快速推理能力來設(shè)計(jì)智能路由算法。智能路由體系架構(gòu)如圖1所示，整個算法架構(gòu)分為離線訓(xùn)練系統(tǒng)和在線推理系統(tǒng)兩部分。因?yàn)闄C(jī)器學(xué)習(xí)的訓(xùn)練過程慢，但是推理速度很快，因此本文提出應(yīng)將訓(xùn)練過程和推理過程分離以保證推理速度。其中，訓(xùn)練過程發(fā)生在線下訓(xùn)練中心。訓(xùn)....

本文編號：3928571