隨著無人機相關技術及產(chǎn)業(yè)的不斷發(fā)展,其在偵察、農(nóng)業(yè)、物流、娛樂等方面的使用率也逐漸提高。又由于無人機飛行環(huán)境的日益復雜,在飛行過程中進行自主避碰已經(jīng)成為現(xiàn)代無人機保障周邊環(huán)境以及自身安全所必須具備的能力。自主避碰決策屬于典型的智能體決策問題,現(xiàn)有的傳統(tǒng)決策方法局限于狀態(tài)分類和策略選擇,難以實現(xiàn)自主決策,且算法性能有限。本文將深度增強學習理論引入無人機自主避碰決策過程。首先將動態(tài)障礙環(huán)境下的無人機避障問題建模為智能體在變化環(huán)境中的動作決策問題,將障礙物和智能體狀態(tài)及動態(tài)變化的環(huán)境向量化,作為深度增強網(wǎng)絡的輸入向量,將深度增強網(wǎng)絡的輸出轉(zhuǎn)化為智能體的動作。在訓練過程中,智能體采用不同的動作,會獲得不同的獎勵值,依據(jù)“不同狀態(tài)下采用不同動作得到的不同獎勵值”,運用反向傳播算法更新網(wǎng)絡參數(shù),從而在與環(huán)境的交互中不斷學習以實現(xiàn)智能體(即無人機)的自主決策。使用單網(wǎng)絡結(jié)構的無人機避障算法由于在估計動作價值時反復取用最大理論價值,導致正向誤差的累積,會做出過度樂觀的估計。本文將單網(wǎng)絡結(jié)構變換為雙網(wǎng)絡結(jié)構,在訓練學習過程中,解耦了最優(yōu)動作選擇和動作價值估計,降低了單網(wǎng)絡結(jié)構無人機避障算法的過度估計問題,提高了避障算法的性能。本文在更新網(wǎng)絡參數(shù)階段,設立一個用于存儲交互經(jīng)驗的回放單元,從中抽取歷史經(jīng)驗,以破壞用來更新網(wǎng)絡參數(shù)的狀態(tài)-行為-獎勵組合的時間相關性。最后,對經(jīng)驗回放算法加以改進,提出了一種深度Q學習指數(shù)優(yōu)先經(jīng)驗回放算法。該算法通過重新設計抽取歷史經(jīng)驗時經(jīng)驗重要程度到抽取概率的映射函數(shù),使其在選擇需要學習的回放單元時,可以優(yōu)先自動選擇更為重要的回放單元。對比傳統(tǒng)算法的單一映射函數(shù),本文提出的的算法既保證了智能體決策的質(zhì)量、使智能體能夠?qū)W習到最優(yōu)的策略,又有效的提升了任務表現(xiàn)、提高了決策效率。在實驗仿真驗證中,本文首先進行了所提出算法的直觀模型策略分析,然后進行了代價函數(shù)分析、效率分析以及各算法的任務表現(xiàn)對比。最后通過對比分析改進算法在測試環(huán)境和無人機避障模擬環(huán)境下的仿真結(jié)果,證明了本文所提出的改進算法可以使智能體做出更加高效優(yōu)質(zhì)的決策,即在取得更好避障效果的同時花費更少的時間。
【學位單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：V279
【部分圖文】：

a) 二維障礙環(huán)境示意圖 b) 三維障礙環(huán)境示意圖圖 2-1 問題描述示意圖圖 2-1 a）是無人機在二維動態(tài)障礙環(huán)境避障建模示意圖。其中無人機處于 1000*800 的網(wǎng)格空間內(nèi)，起始位置在點（900,700），目標位置在點（100,100）。無人機和障礙物的安全半徑都設為 10，無人機向八個方向探測障礙物位置。障礙物以近似隨機的運動方式運動，障礙物有三種運動狀態(tài)分別是直線運動，圓周運動和原地轉(zhuǎn)彎，在訓練的開始，障礙物處在三種運動狀態(tài)下的概率分別是 30%，30%，40%，每輪更新有 10%的概率轉(zhuǎn)換運動狀態(tài)，在三種運動狀態(tài)之間轉(zhuǎn)換的概率如圖 2-2 所示：

維障礙環(huán)境示意圖 b) 三維障礙環(huán)圖 2-1 問題描述示意圖是無人機在二維動態(tài)障礙環(huán)境避障建模示意圖網(wǎng)格空間內(nèi)，起始位置在點（900,700），目標位置物的安全半徑都設為 10，無人機向八個方向探隨機的運動方式運動，障礙物有三種運動狀態(tài)分地轉(zhuǎn)彎，在訓練的開始，障礙物處在三種運動狀40%，每輪更新有 10%的概率轉(zhuǎn)換運動狀態(tài)，率如圖 2-2 所示：

圖 2-3 障礙物運動模型直線運動的模擬障礙物，藍色代表圓弧運、淺粉代表結(jié)合了兩種以上運動方式的混程度上可以實現(xiàn)“隨機”“交錯”運動。人群、飛鳥或其他無人機等運動方式無法速度標量設置為模擬速度 10 以內(nèi)，除了勻速巡航。無人機在三維動態(tài)障礙環(huán)境避障建模示意00 的網(wǎng)格空間內(nèi)，起始位置在點（500,500。無人機和障礙物的安全半徑都設為 20，方向探測障礙物位置，探測半徑為 120，維空間類似，以近似隨機的運動方式運動向，新方向是極坐標(ρ,φ)，其中ρ,φ符合( 40，每回合有 10%的概率變換速度，速率分別是 30%，30%，40%。無人機保持
【相似文獻】

相關期刊論文 前10條

1 文元橋;鄭海濤;周春輝;肖長詩;;基于復雜性地圖的多船避碰模擬[J];武漢理工大學學報(交通科學與工程版);2017年03期

2 薛彥卓;魏伊;孫淼;;基于避碰重點船算法的多船避碰模擬[J];大連海事大學學報;2014年01期

3 施平安;魯俊;;能見度不良兩船互見后的避碰行動分析[J];廣州航海高等專科學校學報;2012年01期

4 彭德洋;;“協(xié)議避碰”的性質(zhì)[J];世界海運;2007年02期

5 陳錦標,王則勝;多船自動避碰決策探討[J];南通航運職業(yè)技術學院學報;2005年03期

6 李麗娜,孫騰達,黃麗卿;關于船舶自動避碰仿真方法的研究[J];儀器儀表學報;2004年S1期

7 逢金雷,王桂軍,張志強;解析法分析旋回對避碰的影響[J];航海技術;2003年02期

8 李麗娜,熊振南,任勤生;多船避碰智能決策的生成與優(yōu)化方法[J];信息與控制;2003年02期

9 黃偉梧;汽車緊急避碰的四條要則[J];勞動保護;2003年06期

10 K．H．Kwik;基于避碰操縱知識庫的安全海運(英)[J];船舶力學;1998年02期

相關博士學位論文 前9條

1 陳立家;海上多目標船智能避碰輔助決策研究[D];武漢理工大學;2011年

2 張金奮;船舶碰撞風險評價與避碰決策方法研究[D];武漢理工大學;2013年

3 鄭中義;船舶自動避碰決策系統(tǒng)的研究[D];大連海事大學;2000年

4 陳國權;船舶避碰自動化關鍵技術研究[D];大連海事大學;2016年

5 楊神化;基于Multi-agent的船舶避碰決策支持系統(tǒng)[D];上海海事大學;2008年

6 歐陽帆;雙機器人協(xié)調(diào)運動方法的研究[D];華南理工大學;2013年

7 李旺;水面無人艇航跡規(guī)劃與跟蹤技術研究[D];哈爾濱工程大學;2016年

8 薛頌東;面向目標搜索的群機器人協(xié)調(diào)控制及其仿真研究[D];蘭州理工大學;2009年

9 畢修穎;船舶碰撞危險度及避碰決策模型的研究[D];大連海事大學;2000年

相關碩士學位論文 前10條

1 牟詩璇;動態(tài)環(huán)境下的無人機避碰技術研究[D];哈爾濱工業(yè)大學;2019年

2 付彥超;游艇活動水域碰撞風險度量與避碰決策方法研究[D];武漢理工大學;2018年

3 陳文玉;規(guī)則約束下無人船實時避碰方法研究[D];南京大學;2019年

4 郭峰;小型USV高速運動條件下避碰規(guī)劃方法研究[D];哈爾濱工程大學;2019年

5 練青坡;多USV避碰規(guī)劃與學習方法研究[D];哈爾濱工程大學;2019年

6 薛嘉歡;雙工業(yè)機器人協(xié)調(diào)避碰運動研究[D];東北電力大學;2017年

7 胥文;基于克隆選擇優(yōu)化的多船避碰決策研究[D];大連海事大學;2017年

8 劉偉;協(xié)議避碰法律問題研究[D];大連海事大學;2016年

9 王哲;無人艇自動避碰策略的研究[D];大連海事大學;2013年

10 高鵬;人機協(xié)作中機器人主動避碰技術研究[D];華南理工大學;2015年

本文編號：2879191