本文關(guān)鍵詞： 無人機集群 偵察監(jiān)視 多智能體系統(tǒng) 不確定規(guī)劃 馬爾科夫決策理論 協(xié)調(diào)與合作 潘多拉問題和潘多拉規(guī)則 人與機器人交互　出處：《國防科學技術(shù)大學》2016年博士論文　論文類型：學位論文

【摘要】：如何將無人機集群系統(tǒng)部署于大范圍環(huán)境中進行偵察監(jiān)視,是未來無人機軍事應用的重要問題之一。一方面,環(huán)境中往往分布著大量動態(tài)變化的子目標/子任務,亟需自動規(guī)劃算法,實現(xiàn)無人機集群系統(tǒng)在不確定條件下進行連續(xù)偵察監(jiān)視的快速規(guī)劃;另一方面,無人機在復雜的環(huán)境中進行搜索時,往往需要人輔助提供一些關(guān)于環(huán)境的知識,所以需要設(shè)計良好的人與無人機進行交互的方式,實現(xiàn)在人輔助下進行搜索�；诖�,論文的主要工作和創(chuàng)新點如下:(1)針對具有子模性規(guī)劃目標的多智能體部分可觀馬爾科夫決策過程(MultiAgent Partially Observable Markov Decision Process,MPOMDP),首次提出了一種近似最優(yōu)的多智能體在線規(guī)劃算法。這種算法通過順次分配技術(shù)(Sequential Allocation Technique)來依次計算每個智能體的策略,貪婪地最大化單個智能體對團隊任務目標的邊際貢獻(Marginal Contribution),從而避免了直接考慮團隊的聯(lián)合策略(其導致的計算代價與智能體個數(shù)呈指數(shù)關(guān)系),使得計算復雜度隨智能體個數(shù)呈多項式關(guān)系。論文通過理論證明該算法具有很好的近似最優(yōu)性能。創(chuàng)新性工作為:使用順次分配技術(shù)來計算智能體的策略,相比于其他的搜索團隊聯(lián)合策略空間的方法,這種方法具有很好的可擴展性,并能夠滿足問題的實時性要求。(2)針對傳遞函數(shù)解耦的部分可觀馬爾科夫決策過程(Transition-Decoupled POMDP,TD-POMDP),首次提出了具有良好可擴展性的在線規(guī)劃算法——傳遞函數(shù)解耦的部分可觀蒙特卡洛規(guī)劃(Transition-Decoupled Partially Observable Monte-Carlo Planning,TD-POMCP),即一種基于蒙特卡洛樹搜索(Monte Carlo Tree Search,MCTS)和max-sum的分散式在線算法。TD-POMCP的創(chuàng)新主要包括:1)根據(jù)局部智能體團隊的局部聯(lián)合動作和聯(lián)合觀測,利用TD-POMDP模型中變換依賴的弱耦合關(guān)系,對每個智能體分別構(gòu)建一個前向搜索樹;2)基于MCTS這種基于采樣的搜索算法對每個智能體的搜索樹進行擴展和更新;3)所有智能體通過分散式交互的方式同時進行對各自搜索樹的擴展和更新。在搜索樹中的每個規(guī)劃步驟,通過max-sum這種分散式任意時間近似算法進行智能體的動作選擇。論文通過理論證明這種方法具有很好可擴展性、魯棒性、實時性和最優(yōu)性,并且通過相關(guān)的仿真實驗證明論文的方法可以成功應用于大規(guī)模TD-POMDPs。(3)基于MPOMDP和TD-POMDP模型,分別建立了在威脅環(huán)境和不確定性下的無人機集群系統(tǒng)進行偵察監(jiān)視的集中式和分散式問題模型。這些問題的狀態(tài)空間大小隨環(huán)境中監(jiān)視子目標個數(shù)的增加呈指數(shù)增長,使得通用的規(guī)劃求解器無法求解這種大范圍的偵察監(jiān)視問題,更無法滿足實際任務的實時性要求。因此,論文設(shè)計了隨監(jiān)視子目標個數(shù)線性增長的信念狀態(tài)表示方式,并進一步定義了無人機集群系統(tǒng)偵察監(jiān)視問題的形式化模型�；诖�,設(shè)計了仿真實驗,實驗結(jié)果表明論文的算法能夠成功應用于大規(guī)模無人機團隊在大范圍環(huán)境中進行集中式/分散式偵察監(jiān)視的規(guī)劃問題。與現(xiàn)有的偵察監(jiān)視問題的求解方法相比,論文設(shè)計的問題模型與求解算法的創(chuàng)新點包括:1)基于智能體模型描述了無人機與環(huán)境和與其他無人機之間的交互方式;2)環(huán)境的模型能夠表達其在時間和空間上的部分可觀和非靜態(tài)性質(zhì);3)求解算法在進行蒙特卡洛仿真時,通過不斷保持對健康約束的檢測,在規(guī)劃中能夠處理無人機可能遭受的來自威脅的傷害。(4)針對概率知識和人輔助下進行搜索的決策問題,建立了一個新穎的模型,即機器人和人的搜索問題(Robot-Human Search,RHS)。RHS描述了一類不確定知識下的搜索問題:一架自主無人機在人的有限輔助下,搜索環(huán)境中的某一物體(如一架墜落戰(zhàn)機的碎片)。環(huán)境中的不確定性體現(xiàn)在物體的回報值以及人的可利用性(Availability)。無人機的目標是最大化所獲物體的回報值并最小化總的搜索代價。論文證明這一結(jié)合人輔助的搜索問題在多項式時間內(nèi)可解,這一結(jié)論在之前的文獻研究中并未得出過。進一步,通過仿真實驗來驗證論文提出的方法,實驗結(jié)果證明論文的方法顯著優(yōu)于一些基準算法。
[Abstract]:This paper presents an approximate optimal multi - agent on - line planning algorithm , which is based on Sequential Allocation Technique . The paper designs a distributed online algorithm based on Monte Carlo Tree Search ( MCTS ) and max - sum . ( 4 ) A novel model , called Robot - Human Search ( RHS ) , is established for the decision - making problem with probabilistic knowledge and human assistance . RHS describes a class of uncertain knowledge search problems : an autonomous unmanned aerial vehicle searches for an object in the environment , such as a falling fighter , under the limited assistance of a person . The uncertainty in the environment is reflected in the return value of the object and the availability of people . The goal of the unmanned aerial vehicle is to maximize the return value of the object and minimize the total search cost .

【學位授予單位】：國防科學技術(shù)大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：V279;V249;O225

【相似文獻】

相關(guān)期刊論文 前10條

1 吳皓;曲玉琨;楊彪;黃亞;;無人機作戰(zhàn)實驗室建設(shè)[J];實驗室研究與探索;2009年03期

2 張曉敏;;艦載無人機作戰(zhàn)使用研究[J];科技信息;2010年17期

3 李磊;熊濤;胡湘陽;熊俊;;淺論無人機應用領(lǐng)域及前景[J];地理空間信息;2010年05期

4 王憲倫;;關(guān)于無人機應用安全問題的一點探討[J];測繪與空間地理信息;2011年01期

5 呂厚誼;無人機發(fā)展與無人機技術(shù)[J];世界科技研究與發(fā)展;1998年06期

6 段歆涔;;無人機將走向何方[J];科學新聞;2013年07期

7 徐秉君;;未來天空的主角——無人機——訪空軍首批試飛專家、航空航天“月桂獎·英勇無畏獎”獲得者畢紅軍[J];科技創(chuàng)新與品牌;2011年08期

8 ;攻擊無人機的種種殺手锏[J];新科幻(科學閱讀版);2012年01期

9 肖鵬;;�？站`——管窺世界艦載無人機[J];科學24小時;2012年10期

10 李勃;黃大慶;;基于電磁環(huán)境效應的無人機系統(tǒng)級電磁輻射指標制定[J];武漢大學學報(理學版);2007年03期

相關(guān)會議論文 前10條

1 王林;張慶杰;朱華勇;沈林成;;遠程異地多無人機系統(tǒng)控制權(quán)切換技術(shù)研究[A];2009中國控制與決策會議論文集（3）[C];2009年

2 譚健美;張琚;閆娟;;信息無人機系統(tǒng)——無人機發(fā)展史上新的里程碑[A];第二屆中國航空學會青年科技論壇文集[C];2006年

3 黃愛鳳;鄧克緒;;民用無人機發(fā)展現(xiàn)狀及關(guān)鍵技術(shù)[A];第九屆長三角科技論壇——航空航天科技創(chuàng)新與長三角經(jīng)濟轉(zhuǎn)型發(fā)展分論壇論文集[C];2012年

4 劉長亮;;無人機發(fā)動機氣道開度自適應機構(gòu)的設(shè)計與實現(xiàn)[A];2009年中國智能自動化會議論文集（第三分冊）[C];2009年

5 丁霖;;無人機系統(tǒng)人機交互界面淺析[A];探索 創(chuàng)新 交流（第4集）——第四屆中國航空學會青年科技論壇文集[C];2010年

6 劉澤坤;呂繼淮;;艦載無人機系統(tǒng)的環(huán)境適應性[A];人—機—環(huán)境系統(tǒng)工程創(chuàng)立20周年紀念大會暨第五屆全國人—機—環(huán)境系統(tǒng)工程學術(shù)會議論文集[C];2001年

7 葉烽;宋祖勛;;無人機系統(tǒng)電磁兼容性測試研究[A];第十四屆全國電磁兼容學術(shù)會議論文集[C];2004年

8 易當祥;呂國志;沈玲玲;;多級路況下車載無人機疲勞載荷仿真[A];第十二屆全國疲勞與斷裂學術(shù)會議論文集[C];2004年

9 錢正祥;金繼才;楊鷺怡;;未來局部戰(zhàn)爭中反無人機作戰(zhàn)對策研究[A];探索創(chuàng)新交流－－中國航空學會青年科技論壇文集[C];2004年

10 高鵬騏;晏磊;趙紅穎;何定洲;;無人機遙感控制平臺的設(shè)計與實現(xiàn)[A];第十五屆全國遙感技術(shù)學術(shù)交流會論文摘要集[C];2005年

相關(guān)重要報紙文章 前10條

1 洪山;法國、德國和西班牙簽約共同研發(fā)三國無人機系統(tǒng)[N];中國航空報;2007年

2 崔璽康;對抗無人機所面臨的新挑戰(zhàn)[N];中國航空報;2007年

3 林英;無人機將進入現(xiàn)代化農(nóng)業(yè)領(lǐng)域[N];光明日報;2007年

4 本報記者 陳永杰　馬佳;中國無人機亮相：戰(zhàn)爭“零傷亡”將實現(xiàn)[N];北京科技報;2008年

5 祖茜楓;“綜合者”：攜帶小導彈的小無人機[N];中國國防報;2008年

6 王磊;印度期望打造強大無人機部隊[N];學習時報;2009年

7 李荔;無人機“俯瞰”黃河災情[N];北京科技報;2011年

8 本報記者 宋斌斌;我國無人機應用高端化趨勢明顯[N];中國工業(yè)報;2011年

9 吳飛;反恐十年無人機扶搖直上[N];中國航空報;2011年

10 司古;美無人機遭神秘病毒入侵[N];國防時報;2011年

相關(guān)博士學位論文 前10條

1 劉洋;動態(tài)環(huán)境中的無人機路徑規(guī)劃研究[D];西北工業(yè)大學;2015年

2 高九州;無人機自主著陸控制[D];中國科學院研究生院(長春光學精密機械與物理研究所);2016年

3 楊永明;無人機遙感系統(tǒng)數(shù)據(jù)獲取與處理關(guān)鍵技術(shù)研究[D];昆明理工大學;2016年

4 孫小雷;基于多階段航跡預測的無人機任務規(guī)劃方法研究[D];哈爾濱工業(yè)大學;2015年

5 張艷超;農(nóng)田信息低空遙感中圖像采集與處理的關(guān)鍵技術(shù)研究[D];浙江大學;2016年

6 王剛;一種螺旋槳動力配平的小型電動無尾無人機研究[D];西北工業(yè)大學;2016年

7 張潮;神經(jīng)智能控制在小型快遞無人機系統(tǒng)中的研究與應用[D];北京科技大學;2017年

8 李辰;面向四旋翼無人機的非線性控制方法與實現(xiàn)[D];浙江大學;2017年

9 徐博;植保無人機航線規(guī)劃方法研究[D];中國農(nóng)業(yè)大學;2017年

10 王國芳;專家知識輔助的強化學習研究及其在無人機路徑規(guī)劃中的應用[D];浙江大學;2017年

相關(guān)碩士學位論文 前10條

1 趙敏;分布式多類型無人機協(xié)同任務分配研究及仿真[D];南京理工大學;2009年

2 劉志花;無人機故障預測與健康管理技術(shù)研究[D];北京化工大學;2010年

3 劉愛兵;可變形無人機設(shè)計[D];南京航空航天大學;2009年

4 易姝姝;無人機飛行場景及數(shù)據(jù)的可視化仿真與實現(xiàn)[D];電子科技大學;2010年

5 張佳璐;無人機項目綜合評價研究[D];北京郵電大學;2011年

6 趙志鴻;某型無人機雙發(fā)火箭助推發(fā)射動力學建模與仿真研究[D];南京理工大學;2007年

7 李建華;某無人機發(fā)射系統(tǒng)技術(shù)研究[D];南京理工大學;2008年

8 戴世通;無人機飛行可視化仿真系統(tǒng)設(shè)計[D];西安理工大學;2008年

9 曹攀峰;敵對與非敵對環(huán)境下無人機群的協(xié)同搜索路徑與策略研究[D];復旦大學;2010年

10 張錫憲;無人機測控中數(shù)據(jù)傳輸系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學;2009年

，

本文編號：1522295