水聲信道復(fù)雜多變,自適應(yīng)調(diào)制系統(tǒng)中反饋信息存在較大的時(shí)延,實(shí)際信道狀態(tài)與接收到的反饋信息無(wú)法匹配,帶來(lái)反饋信道狀態(tài)信息過(guò)時(shí)問(wèn)題,發(fā)送端不能準(zhǔn)確做出自適應(yīng)決策進(jìn)而導(dǎo)致傳輸誤碼高及吞吐量低等問(wèn)題。針對(duì)該問(wèn)題,利用強(qiáng)化學(xué)習(xí)中的SARSA算法學(xué)習(xí)信道的變化并進(jìn)行行為策略的選擇,根據(jù)信道的變化,擇優(yōu)選出最佳的調(diào)制方式,以改善系統(tǒng)的傳輸誤碼和通信吞吐量。對(duì)比固定調(diào)制方式和直接反饋情況下的系統(tǒng)的誤碼率和吞吐量,結(jié)果表明,經(jīng)強(qiáng)化學(xué)習(xí)后的系統(tǒng)誤碼率和吞吐量均優(yōu)于其他兩種方式,可見(jiàn),強(qiáng)化學(xué)習(xí)算法在時(shí)變水聲信道自適應(yīng)調(diào)制中改善傳輸誤碼和吞吐量的問(wèn)題上是有效可行的。 

【文章來(lái)源】：科學(xué)技術(shù)與工程. 2020,20(16)北大核心

【文章頁(yè)數(shù)】：5 頁(yè)

【部分圖文】：

基于SARSA算法的水聲自適應(yīng)調(diào)制系統(tǒng)

強(qiáng)化學(xué)習(xí)屬于機(jī)器學(xué)習(xí)的一個(gè)分支,主要解決智能體通過(guò)不斷地試錯(cuò)與探索,將狀態(tài)與動(dòng)作之間關(guān)聯(lián)起來(lái),最終達(dá)到獲得最大獎(jiǎng)勵(lì)回報(bào)累積量的問(wèn)題。其基本原理是:如果智能體(agent)執(zhí)行的某個(gè)動(dòng)作策略導(dǎo)致環(huán)境對(duì)智能體的獎(jiǎng)賞(reward)越大,則智能體以后采用這個(gè)動(dòng)作策略的概率就會(huì)加強(qiáng),反之得到的獎(jiǎng)賞越小,智能體產(chǎn)生這個(gè)動(dòng)作的概率就會(huì)減弱[10]。強(qiáng)化學(xué)習(xí)中把學(xué)習(xí)過(guò)程看作一個(gè)不斷的試錯(cuò)和探索過(guò)程,其原理框圖如圖2所示。在本文算法中,采用不同時(shí)刻的信道信噪比{s1,s2,…,st}為狀態(tài)集,以四種不同的調(diào)制方式作{a1,a2,…,at}為動(dòng)作集,各狀態(tài)在不同動(dòng)作下與環(huán)境交互產(chǎn)生的吞吐量作為獎(jiǎng)勵(lì),即環(huán)境根據(jù)狀態(tài)與動(dòng)作給出合理的反饋。系統(tǒng)得到的累計(jì)獎(jiǎng)賞[11]為

研究水下長(zhǎng)時(shí)延傳輸導(dǎo)致的發(fā)射端接收到的反饋信息過(guò)時(shí),進(jìn)而不能準(zhǔn)確選擇自適應(yīng)調(diào)制方式的問(wèn)題。仿真環(huán)境示意圖如圖3所示。建立水下場(chǎng)景,收發(fā)端水平放置于水面下,具體參數(shù)設(shè)置見(jiàn)文獻(xiàn)[9]所示,發(fā)射機(jī)每隔15 min發(fā)送一次信號(hào)序列,并記錄下每次信道狀態(tài)的變化。3.2 仿真參數(shù)

【參考文獻(xiàn)】：
期刊論文
[1]基于馬爾科夫狀態(tài)空間的水聲正交頻分復(fù)用技術(shù)資源分配[J]. 王安義,余龍,張育芝.  科學(xué)技術(shù)與工程. 2018(32)
[2]M2M通信中基于多智能體強(qiáng)化學(xué)習(xí)的無(wú)線資源分配算法[J]. 徐少毅,鄭姍姍.  北京交通大學(xué)學(xué)報(bào). 2018(05)
[3]基于SARSA算法的水庫(kù)長(zhǎng)期隨機(jī)優(yōu)化調(diào)度研究[J]. 李文武,張雪映,Daniel Eliote Mbanze,吳巍.  水電能源科學(xué). 2018(09)
[4]采用雙層強(qiáng)化學(xué)習(xí)的干擾決策算法[J]. 顓孫少帥,楊俊安,劉輝,黃科舉.  西安交通大學(xué)學(xué)報(bào). 2018(02)
[5]正交頻分復(fù)用水聲通信自適應(yīng)調(diào)制算法[J]. 羅亞松,胡生亮,劉志坤,呂顯春.  國(guó)防科技大學(xué)學(xué)報(bào). 2017(01)
[6]強(qiáng)化學(xué)習(xí)研究綜述[J]. 陳學(xué)松,楊宜民.  計(jì)算機(jī)應(yīng)用研究. 2010(08)
[7]強(qiáng)化學(xué)習(xí)研究綜述[J]. 高陽(yáng),陳世福,陸鑫.  自動(dòng)化學(xué)報(bào). 2004(01)

博士論文
[1]基于信道自適應(yīng)的水聲網(wǎng)絡(luò)多節(jié)點(diǎn)接入機(jī)制研究[D]. 張育芝.西北工業(yè)大學(xué) 2016

碩士論文
[1]基于強(qiáng)化學(xué)習(xí)的自適應(yīng)調(diào)制編碼技術(shù)的研究[D]. 李程坤.杭州電子科技大學(xué) 2018
[2]強(qiáng)化學(xué)習(xí)方法及應(yīng)用技術(shù)研究[D]. 李浩.西安電子科技大學(xué) 2012



本文編號(hào)：3601395