發(fā)布時間：2017-12-17 01:16

  本文關(guān)鍵詞：專家知識輔助的強(qiáng)化學(xué)習(xí)研究及其在無人機(jī)路徑規(guī)劃中的應(yīng)用

  更多相關(guān)文章： 強(qiáng)化學(xué)習(xí) 知識遷移 深度學(xué)習(xí) 動態(tài)運動基元 示教學(xué)習(xí) 對稱性 批量運算

【摘要】：隨著科技不斷發(fā)展進(jìn)步,無人機(jī)的應(yīng)用范圍逐漸擴(kuò)大,這無形中對其智能化提出了更高的要求。未來的無人機(jī)應(yīng)該通過與環(huán)境交互自主完成障礙躲避、路徑規(guī)劃等常規(guī)任務(wù),而不是僅僅依賴于手動編寫的程序。強(qiáng)化學(xué)習(xí)算法是實現(xiàn)自主化的一條可行技術(shù)路線,并已被用于游戲及其它一些人工較難掌控任務(wù)的學(xué)習(xí)中,然而,其在訓(xùn)練時較大的在線運算壓力及較長的交互過程阻礙了它更為廣泛的應(yīng)用,特別是在無人機(jī)領(lǐng)域。針對此種情形,本文以強(qiáng)化學(xué)習(xí)算法及其在無人機(jī)路徑規(guī)劃中的應(yīng)用為主要研究內(nèi)容,嘗試在強(qiáng)化學(xué)習(xí)開始前賦予智能體特定的專家知識來提高學(xué)習(xí)算法的實用性。研究主要從以下兩方面展開:一是結(jié)合專家對任務(wù)的了解,通過引入批量遞歸最小二乘或構(gòu)造特殊基函數(shù)來降低對稱任務(wù)中學(xué)習(xí)的運算復(fù)雜度;二是從遷移的角度出發(fā),重點研究在新任務(wù)強(qiáng)化學(xué)習(xí)中復(fù)用源任務(wù)示教軌跡所含專家知識的方法,并進(jìn)一步探索了示教知識遷移輔助的強(qiáng)化學(xué)習(xí)在無人機(jī)路徑規(guī)劃中的應(yīng)用。本文的主要研究工作和貢獻(xiàn)歸納如下:1、系統(tǒng)綜述了強(qiáng)化學(xué)習(xí)算法及其應(yīng)用現(xiàn)狀,著重介紹了引入專家知識以彌補(bǔ)其白板學(xué)習(xí)盲目性的研究,特別是與遷移算法相結(jié)合的部分;總結(jié)了遷移在強(qiáng)化學(xué)習(xí)中應(yīng)用的難點,并提出從簡單源任務(wù)的示教軌跡中挖掘并遷移知識到新任務(wù)中加速強(qiáng)化學(xué)習(xí)的框架。2、針對在Actor-Critic結(jié)構(gòu)強(qiáng)化學(xué)習(xí)算法中智能體用最小二乘法估計自然梯度的運算量是估計普通梯度數(shù)倍的問題,本文提出利用批量遞歸的思想來有效降低智能體在線運算壓力。強(qiáng)化學(xué)習(xí)過程中,智能體可以在交互數(shù)據(jù)達(dá)到專家設(shè)定的數(shù)量之后再用遞歸最小二乘法估計自然梯度,從而明顯減少了梯度估計次數(shù);與此同時,由于每次梯度估計更為準(zhǔn)確,智能體可以適當(dāng)增大策略參數(shù)更新步長以保證算法收斂速度不受明顯影響�？傊�,批量遞歸使得智能體能夠在可接受的在線運算壓力下靈活處理交互數(shù)據(jù)。3、針對狀態(tài)動作空間存在對稱性的任務(wù),本文提出一種能夠近似對稱狀態(tài)值函數(shù)及策略的特殊基函數(shù)。專家在構(gòu)造基函數(shù)時,同時考慮中心點及其對稱位置信息從而使基函數(shù)的值在對稱位置自然相等,進(jìn)而使得狀態(tài)值函數(shù)在對稱狀態(tài)也相等。然而,由于特殊基函數(shù)數(shù)量與常規(guī)基函數(shù)相比較少,強(qiáng)化學(xué)習(xí)速度明顯加快且運算壓力顯著降低。4、由于源任務(wù)示教軌跡數(shù)量有限且單個軌跡所含數(shù)據(jù)較多,用機(jī)器學(xué)習(xí)分類較難,本文提出結(jié)合動態(tài)運動基元與卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類的方法。算法首先將示教軌跡視作獨立的多維時間序列并用不同動態(tài)運動基元的參數(shù)依次作為各個維度的表征;之后,用改造的卷積神經(jīng)網(wǎng)絡(luò)發(fā)掘基元參數(shù)序列的結(jié)構(gòu)變化信息進(jìn)行分類;最后,綜合各維度分類情況以確定軌跡類別。5、針對專家較易示教簡單任務(wù)而強(qiáng)化學(xué)習(xí)適于解決較難問題的情況,本文提出多種在較難任務(wù)強(qiáng)化學(xué)習(xí)中復(fù)用與之相關(guān)源任務(wù)示教軌跡所含專家知識的方法。本文嘗試從多個角度挖掘示教軌跡所含專家知識,并經(jīng)由智能體空間或任務(wù)間關(guān)系映射遷移到新任務(wù)中,通過引導(dǎo)學(xué)習(xí)的探索過程、鼓勵訪問某些狀態(tài)或直接作為選擇動作的初始策略等方式加快新任務(wù)的學(xué)習(xí)速度。6、為在無人機(jī)路徑規(guī)劃中應(yīng)用強(qiáng)化學(xué)習(xí),本文提出用重構(gòu)的示教軌跡來引導(dǎo)智能體探索的方法。專家首先示教多個參數(shù)已知的任務(wù)從而賦予智能體多種避障技能;當(dāng)遇到相似情形時,智能體可通過任務(wù)間的構(gòu)造關(guān)系泛化出新的避障軌跡;最后,依照推薦軌跡次序構(gòu)造出勢函數(shù)并用Q學(xué)習(xí)訓(xùn)練得到較好策略。算法減少了智能體學(xué)習(xí)失敗的次數(shù),驗證了強(qiáng)化學(xué)習(xí)在無人機(jī)領(lǐng)域應(yīng)用的可行性。
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：V279;TP18

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 辛健成;美國海軍無人機(jī)發(fā)展歷程[J];機(jī)器人技術(shù)與應(yīng)用;2000年05期

2 時兆峰;以色列組建專門的無人機(jī)管理部門[J];飛航導(dǎo)彈;2001年10期

3 徐文;俄羅斯的無人機(jī)系統(tǒng)——格蘭特[J];飛航導(dǎo)彈;2003年07期

4 何一波;各國使用的主要輕型無人機(jī)[J];飛航導(dǎo)彈;2003年11期

5 馬曉平;系統(tǒng)工程學(xué)在無人機(jī)研制中的應(yīng)用[J];航空科學(xué)技術(shù);2003年04期

6 柯邊;“影子200”戰(zhàn)術(shù)無人機(jī)[J];航天電子對抗;2003年06期

7 溫羨嶠,李英;從美國無人機(jī)的發(fā)展來看無人機(jī)在未來戰(zhàn)爭中的應(yīng)用前景[J];現(xiàn)代防御技術(shù);2003年05期

8 王永壽;日本無人機(jī)的研究開發(fā)現(xiàn)狀與動向[J];飛航導(dǎo)彈;2003年08期

9 袁剛輝;徐志紅;;不斷壯大的俄羅斯無人機(jī)家族[J];現(xiàn)代兵器;2003年02期

10 徐文;俄羅斯無人機(jī)的發(fā)展現(xiàn)狀[J];飛航導(dǎo)彈;2004年02期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 王林;張慶杰;朱華勇;沈林成;;遠(yuǎn)程異地多無人機(jī)系統(tǒng)控制權(quán)切換技術(shù)研究[A];2009中國控制與決策會議論文集（3）[C];2009年

2 譚健美;張琚;閆娟;;信息無人機(jī)系統(tǒng)——無人機(jī)發(fā)展史上新的里程碑[A];第二屆中國航空學(xué)會青年科技論壇文集[C];2006年

3 黃愛鳳;鄧克緒;;民用無人機(jī)發(fā)展現(xiàn)狀及關(guān)鍵技術(shù)[A];第九屆長三角科技論壇——航空航天科技創(chuàng)新與長三角經(jīng)濟(jì)轉(zhuǎn)型發(fā)展分論壇論文集[C];2012年

4 劉長亮;;無人機(jī)發(fā)動機(jī)氣道開度自適應(yīng)機(jī)構(gòu)的設(shè)計與實現(xiàn)[A];2009年中國智能自動化會議論文集（第三分冊）[C];2009年

5 丁霖;;無人機(jī)系統(tǒng)人機(jī)交互界面淺析[A];探索 創(chuàng)新 交流（第4集）——第四屆中國航空學(xué)會青年科技論壇文集[C];2010年

6 劉澤坤;呂繼淮;;艦載無人機(jī)系統(tǒng)的環(huán)境適應(yīng)性[A];人—機(jī)—環(huán)境系統(tǒng)工程創(chuàng)立20周年紀(jì)念大會暨第五屆全國人—機(jī)—環(huán)境系統(tǒng)工程學(xué)術(shù)會議論文集[C];2001年

7 葉烽;宋祖勛;;無人機(jī)系統(tǒng)電磁兼容性測試研究[A];第十四屆全國電磁兼容學(xué)術(shù)會議論文集[C];2004年

8 易當(dāng)祥;呂國志;沈玲玲;;多級路況下車載無人機(jī)疲勞載荷仿真[A];第十二屆全國疲勞與斷裂學(xué)術(shù)會議論文集[C];2004年

9 錢正祥;金繼才;楊鷺怡;;未來局部戰(zhàn)爭中反無人機(jī)作戰(zhàn)對策研究[A];探索創(chuàng)新交流－－中國航空學(xué)會青年科技論壇文集[C];2004年

10 高鵬騏;晏磊;趙紅穎;何定洲;;無人機(jī)遙感控制平臺的設(shè)計與實現(xiàn)[A];第十五屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2005年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 洪山;法國、德國和西班牙簽約共同研發(fā)三國無人機(jī)系統(tǒng)[N];中國航空報;2007年

2 崔璽康;對抗無人機(jī)所面臨的新挑戰(zhàn)[N];中國航空報;2007年

3 林英;無人機(jī)將進(jìn)入現(xiàn)代化農(nóng)業(yè)領(lǐng)域[N];光明日報;2007年

4 本報記者 陳永杰　馬佳;中國無人機(jī)亮相：戰(zhàn)爭“零傷亡”將實現(xiàn)[N];北京科技報;2008年

5 祖茜楓;“綜合者”：攜帶小導(dǎo)彈的小無人機(jī)[N];中國國防報;2008年

6 王磊;印度期望打造強(qiáng)大無人機(jī)部隊[N];學(xué)習(xí)時報;2009年

7 李荔;無人機(jī)“俯瞰”黃河災(zāi)情[N];北京科技報;2011年

8 本報記者 宋斌斌;我國無人機(jī)應(yīng)用高端化趨勢明顯[N];中國工業(yè)報;2011年

9 吳飛;反恐十年無人機(jī)扶搖直上[N];中國航空報;2011年

10 司古;美無人機(jī)遭神秘病毒入侵[N];國防時報;2011年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉洋;動態(tài)環(huán)境中的無人機(jī)路徑規(guī)劃研究[D];西北工業(yè)大學(xué);2015年

2 高九州;無人機(jī)自主著陸控制[D];中國科學(xué)院研究生院(長春光學(xué)精密機(jī)械與物理研究所);2016年

3 楊永明;無人機(jī)遙感系統(tǒng)數(shù)據(jù)獲取與處理關(guān)鍵技術(shù)研究[D];昆明理工大學(xué);2016年

4 孫小雷;基于多階段航跡預(yù)測的無人機(jī)任務(wù)規(guī)劃方法研究[D];哈爾濱工業(yè)大學(xué);2015年

5 張艷超;農(nóng)田信息低空遙感中圖像采集與處理的關(guān)鍵技術(shù)研究[D];浙江大學(xué);2016年

6 王剛;一種螺旋槳動力配平的小型電動無尾無人機(jī)研究[D];西北工業(yè)大學(xué);2016年

7 張潮;神經(jīng)智能控制在小型快遞無人機(jī)系統(tǒng)中的研究與應(yīng)用[D];北京科技大學(xué);2017年

8 李辰;面向四旋翼無人機(jī)的非線性控制方法與實現(xiàn)[D];浙江大學(xué);2017年

9 徐博;植保無人機(jī)航線規(guī)劃方法研究[D];中國農(nóng)業(yè)大學(xué);2017年

10 王國芳;專家知識輔助的強(qiáng)化學(xué)習(xí)研究及其在無人機(jī)路徑規(guī)劃中的應(yīng)用[D];浙江大學(xué);2017年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 趙敏;分布式多類型無人機(jī)協(xié)同任務(wù)分配研究及仿真[D];南京理工大學(xué);2009年

2 劉志花;無人機(jī)故障預(yù)測與健康管理技術(shù)研究[D];北京化工大學(xué);2010年

3 劉愛兵;可變形無人機(jī)設(shè)計[D];南京航空航天大學(xué);2009年

4 易姝姝;無人機(jī)飛行場景及數(shù)據(jù)的可視化仿真與實現(xiàn)[D];電子科技大學(xué);2010年

5 張佳璐;無人機(jī)項目綜合評價研究[D];北京郵電大學(xué);2011年

6 趙志鴻;某型無人機(jī)雙發(fā)火箭助推發(fā)射動力學(xué)建模與仿真研究[D];南京理工大學(xué);2007年

7 李建華;某無人機(jī)發(fā)射系統(tǒng)技術(shù)研究[D];南京理工大學(xué);2008年

8 戴世通;無人機(jī)飛行可視化仿真系統(tǒng)設(shè)計[D];西安理工大學(xué);2008年

9 曹攀峰;敵對與非敵對環(huán)境下無人機(jī)群的協(xié)同搜索路徑與策略研究[D];復(fù)旦大學(xué);2010年

10 張錫憲;無人機(jī)測控中數(shù)據(jù)傳輸系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學(xué);2009年

，

本文編號：1298194