發(fā)布時間：2020-08-14 15:54

【摘要】：隨著移動機器人應用領域不斷擴展,應用于移動機器人的路徑規(guī)劃技術也得到了越來越多專家的關注與研究。移動機器人在動態(tài)環(huán)境和未知靜態(tài)環(huán)境中缺乏環(huán)境相關的先驗知識,這就要求其具有較強的靈活性與適應性來應對各種狀況。強化學習是通過智能體在環(huán)境中探索獲得知識,在試錯過程中進行學習,是機器學習領域的一個重要的分支。移動機器人在路徑規(guī)劃過程中不可避免的會遇到各種障礙物,就要求所設計的移動機器人路徑規(guī)劃方法能夠靈活規(guī)劃和對環(huán)境有一定的適應性,因此賦予機器人自主學習能力有非常重要的實際意義。本文首先闡述了設計基于強化學習的移動機器人路徑規(guī)劃方法的研究背景和意義,分別分析了目前移動機器人路徑規(guī)劃方法和強化學習方法的國內(nèi)外研究現(xiàn)狀,并簡要介紹了本文要完的主要工作和框架安排。其次,詳細介紹了強化學習方法的基本原理,并從系統(tǒng)組成上對強化學方法進一步分析;通過詳細介紹三種強化學習經(jīng)典算法,對強化學習的策略迭代方式以及最優(yōu)策略的獲得方法進行了說明;概括介紹了強化學習方法目前在路徑規(guī)劃領域的應用,并分析了存在的問題。第三,以移動機器人在靜態(tài)未知環(huán)境中的路徑規(guī)劃為研究背景,利用強化學習方法設計基于Q-learning算法的路徑規(guī)劃方法,搭建靜態(tài)柵格環(huán)境進行仿真實驗,實驗結(jié)果顯示移動機器人在未知環(huán)境下通過自主學習能夠?qū)ふ业揭粭l從起始位置到達目標位置的最優(yōu)路徑。為解決表值學習方法在大范圍狀態(tài)空間中數(shù)據(jù)處理能力的不足,采用勢場法優(yōu)化DQN算法,一方面利用神經(jīng)網(wǎng)絡在數(shù)據(jù)處理上優(yōu)勢,另一方面通過勢場法指導加速訓練過程。設計路徑規(guī)劃方法并搭建復雜靜態(tài)環(huán)境進行仿真實驗,實驗結(jié)果證明了改進后的算法能夠在復雜靜態(tài)環(huán)境中有效的進行路徑規(guī)劃。第四,針對動態(tài)環(huán)境下的移動機器人路徑規(guī)劃問題,搭建含有動態(tài)障礙元素的仿真環(huán)境,使用A3C算法設計路徑規(guī)劃方法進行仿真實驗,實驗結(jié)果顯示移動機器人能夠在環(huán)境中有效的規(guī)劃路徑,并且能夠處理突發(fā)動態(tài)的障礙。然后以無人車自動駕駛為背景搭建仿真環(huán)境,采用Double DQN算法降低目標函數(shù)的過估計以減少在動態(tài)障礙環(huán)境中的影響因素,設無人車局部路徑規(guī)劃方法進行仿真實驗,實驗結(jié)果顯示隨著訓練過程的進行無人車在環(huán)境中無碰撞行駛距離不斷增加。第五,根據(jù)Pioneer3移動機器人運動學模型和約束條件搭建仿真環(huán)境,設計基于DDPG算法的路徑規(guī)劃方法進行仿真實驗。在連續(xù)動作空間中尋找最優(yōu)動作,通過訓練得到一條最優(yōu)路徑。實驗結(jié)果表明,該方法可以在移動機器人連續(xù)動作空間中選取動作并規(guī)劃出一條無碰撞的最優(yōu)路徑。最后,對本論文所做的工作進行總結(jié),對后續(xù)的研究工作進行了展望。
【學位授予單位】：濟南大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP242
【圖文】：

靜態(tài)環(huán)境模型

圖 3.3 靜態(tài)未知環(huán)境路徑規(guī)劃仿真結(jié)果圖過程中，由于前期沒有一定的知識積累，所以前期從起始位置到達目長的路線，在這期間碰撞到障礙更是不可避免的。但是隨著學習過人知識的不斷積累，從起始位置到目標位置需要的步數(shù)逐漸減少，時收斂。但在之后還會出現(xiàn)小范圍波動，原因是動作選擇策略中仍有

圖 3.4 訓練過程中步數(shù)變化圖化學習的目標是最大化學習過程中的累積獎賞，由于在學習初期不可避，而撞上障礙物獲得的獎賞是-1，因此在訓練初期累積獎賞是負值。訓

【相似文獻】

相關期刊論文 前10條

1 王賽;劉子龍;;基于4G網(wǎng)絡的移動機器人遠程控制研究[J];軟件導刊;2019年11期

2 王宏玉;;移動機器人行業(yè):百花齊放,快速發(fā)展[J];物流技術與應用;2019年03期

3 張淇元;;自適應巡航移動機器人的構(gòu)建與編程[J];數(shù)字通信世界;2017年10期

4 趙杰;;以世賽集訓為引領 推動學院水平提升——44屆世賽移動機器人項目集訓介紹[J];中國培訓;2018年03期

5 楊洪志;;移動機器人的雙臂結(jié)構(gòu)設計要點研究[J];南方農(nóng)機;2018年14期

6 任芳;;移動機器人助力無人倉落地——訪杭州海康機器人技術有限公司副總裁吳堯[J];物流技術與應用;2018年10期

7 劉銀萍;;全向移動機器人中電動機控制系統(tǒng)的研究[J];微電機;2016年12期

8 張燕;徐一超;盛洲;;A*算法在移動機器人自學習中的使用[J];單片機與嵌入式系統(tǒng)應用;2016年11期

9 薛金水;張新政;;改進遺傳算法優(yōu)化移動機器人動態(tài)路徑研究[J];機床與液壓;2017年07期

10 張皓;;四輪全向移動機器人轉(zhuǎn)彎半徑的研究[J];價值工程;2017年09期

相關會議論文 前10條

1 陳煒;馬利;王立柱;;雙臂移動機器人在不平路面激勵下的振動特性分析[A];第十屆動力學與控制學術會議摘要集[C];2016年

2 王潤孝;仲于海;;四足移動機器人研究現(xiàn)狀及核心關鍵技術[A];2017年第七屆全國地方機械工程學會學術年會暨海峽兩岸機械科技學術論壇論文集[C];2017年

3 湯亞鋒;姚紅;楊慶;;氣浮式移動機器人的模糊運動控制方法[A];2009年中國智能自動化會議論文集（第一分冊）[C];2009年

4 李斌;劉景泰;孫雷;王鴻鵬;李寶炯;;面向復雜環(huán)境作業(yè)的輪式滑動轉(zhuǎn)向移動機器人平臺設計[A];2009年中國智能自動化會議論文集（第二分冊）[C];2009年

5 趙暉;王天然;劉德林;;分布式數(shù)據(jù)庫在移動機器人中的應用[A];第十屆全國數(shù)據(jù)庫學術會議論文集[C];1992年

6 李偉;江曉佳;王彥昕;王永強;;基于模糊邏輯推理的室外移動機器人道路邊沿抽取的方法[A];1995年中國智能自動化學術會議暨智能自動化專業(yè)委員會成立大會論文集（上冊）[C];1995年

7 高志軍;顏國正;丁國清;顏德田;;多移動機器人間通訊機制的設計與實現(xiàn)[A];中國儀器儀表學會第三屆青年學術會議論文集（上）[C];2001年

8 郭丙華;胡躍明;吳忻生;;未知或已知環(huán)境中的非完整移動機器人運動規(guī)劃[A];第二十一屆中國控制會議論文集[C];2002年

9 劉國棟;呂福生;謝宏斌;;基于神經(jīng)網(wǎng)絡的移動機器人的路徑規(guī)劃研究[A];2003年中國智能自動化會議論文集（上冊）[C];2003年

10 李世華;田玉平;;一種非完整移動機器人有限時間跟蹤控制算法[A];江蘇省自動化學會七屆四次理事會暨2004學術年會青年學者論壇論文集[C];2004年

相關重要報紙文章 前10條

1 記者 張紅波;云南技師學院鄭棋元勇奪第45屆世界技能大賽移動機器人項目金牌[N];云南經(jīng)濟日報;2019年

2 本報記者 黃辛 趙廣立;給移動機器人裝上“最強大腦”[N];中國科學報;2018年

3 整理 任紫;技能報國 正當其時[N];中國勞動保障報;2019年

4 湖南日報記者 姚學文;馳眾 躋身工業(yè)移動機器人第一方陣[N];湖南日報;2018年

5 本報記者 郝曉明;移動機器人“冰屏”炫舞“北京八分鐘”[N];科技日報;2018年

6 沈陽日報、沈報融媒記者 李海英;炫舞“北京8分鐘” 沈陽新松移動機器人團隊榮獲“市長特別獎”[N];沈陽日報;2018年

7 本報記者 孫宏陽;移動機器人巡邏機場高速[N];北京日報;2017年

8 本報記者 周明陽;移動機器人：“百變?nèi)f用”真神奇[N];經(jīng)濟日報;2015年

9 朱偉良 穗人社宣;廣州選手摘金奪銀創(chuàng)歷史佳績[N];南方日報;2017年

10 中國工業(yè)報記者 李芳蕾;履坦科技：打造地面行走的農(nóng)機典范[N];中國工業(yè)報;2019年

相關博士學位論文 前10條

1 王志瑞;四面體桿式移動機器人的系統(tǒng)設計與研究[D];北京交通大學;2019年

2 張啟彬;基于不確定性分析的移動機器人室內(nèi)定位與導航控制方法研究[D];中國科學技術大學;2018年

3 李曄卓;可重構(gòu)多模式地面移動機器人的構(gòu)型設計與性能研究[D];北京交通大學;2018年

4 黃辰;基于智能優(yōu)化算法的移動機器人路徑規(guī)劃與定位方法研究[D];大連交通大學;2018年

5 程傳奇;非結(jié)構(gòu)場景下移動機器人自主導航關鍵技術研究[D];戰(zhàn)略支援部隊信息工程大學;2018年

6 馮晟;基于無線傳感器網(wǎng)絡的移動機器人室內(nèi)動態(tài)定位[D];東北大學;2017年

7 邱增帥;面向室外環(huán)境的移動機器人自主場景理解[D];大連理工大學;2018年

8 陳偉華;社會環(huán)境的輪式移動機器人定位導航方法研究[D];華南理工大學;2018年

9 歐屹;特種地面移動機器人機械系統(tǒng)設計與分析[D];南京理工大學;2013年

10 姜健;多移動機器人協(xié)作方法研究[D];哈爾濱工業(yè)大學;2008年

相關碩士學位論文 前10條

1 陳德平;基于RGBD相機的移動機器人算法研究[D];杭州電子科技大學;2019年

2 王鴻勃;基于移動機器人的校園無人配送系統(tǒng)研究[D];北京交通大學;2019年

3 柳楊;基于嵌入式平臺的移動機器人定位與導航技術研究[D];河北工業(yè)大學;2017年

4 李安旭;移動機器人即時定位與地圖構(gòu)建技術研究[D];電子科技大學;2019年

5 丁聰;復雜路面下移動機器人關鍵部件自主控制及狀態(tài)評估方法研究[D];電子科技大學;2019年

6 向卉;基于深度強化學習的室內(nèi)目標路徑規(guī)劃研究[D];桂林電子科技大學;2019年

7 付華s

本文編號：2793236