近年來(lái),機(jī)器人領(lǐng)域發(fā)展迅速,特別是移動(dòng)機(jī)器人應(yīng)用越來(lái)越廣泛,其中移動(dòng)機(jī)器人導(dǎo)航技術(shù)的發(fā)展也是突飛猛進(jìn),基于視覺(jué)傳感器的導(dǎo)航算法更是層出不窮。特別是,深度強(qiáng)化學(xué)習(xí)在某種程度上模仿了人類通過(guò)不斷取得進(jìn)步激勵(lì)自己學(xué)習(xí)的過(guò)程,在不斷嘗試中學(xué)習(xí)在各個(gè)狀態(tài)下應(yīng)該采取的行動(dòng)。而這一特性與機(jī)器人的導(dǎo)航行為有很多接近的地方。本研究課題旨在利用這一思路,針對(duì)移動(dòng)機(jī)器人在未知環(huán)境中的導(dǎo)航方法問(wèn)題,研究基于深度強(qiáng)化學(xué)習(xí)的機(jī)器人導(dǎo)航方法。該方法可通過(guò)對(duì)深度相機(jī)采集的環(huán)境信息進(jìn)行特征提取并作出決策,最終實(shí)現(xiàn)在未知的、復(fù)雜的工作環(huán)境中,移動(dòng)機(jī)器人能夠自主完成起始點(diǎn)到目標(biāo)點(diǎn)的導(dǎo)航任務(wù),并得出最優(yōu)路徑。在課題研究過(guò)程中搭建了機(jī)器人仿真模擬環(huán)境,進(jìn)行了 DDPG算法訓(xùn)練、測(cè)評(píng),并在測(cè)試環(huán)境中,與傳統(tǒng)Slam導(dǎo)航方法進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)證明,基于深度強(qiáng)化學(xué)習(xí)的導(dǎo)航算法避免了建立地圖等繁瑣工作,與此同時(shí)在導(dǎo)航精度和計(jì)算時(shí)間上均優(yōu)于基于Slam的導(dǎo)航算法。更能滿足在不同陌生環(huán)境下的導(dǎo)航要求,更符合未來(lái)導(dǎo)航算法的發(fā)展方向。

【文章頁(yè)數(shù)】：70 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
1. 緒論
    1.1. 課題研究背景
    1.2. 課題研究實(shí)踐意義
    1.3. 國(guó)內(nèi)外研究現(xiàn)狀
        1.3.1. 移動(dòng)機(jī)器人的發(fā)展現(xiàn)狀
        1.3.2. 移動(dòng)機(jī)器人導(dǎo)航技術(shù)研究現(xiàn)狀
    1.4. 研究?jī)?nèi)容及方法
    1.5. 論文結(jié)構(gòu)
    1.6. 本章小結(jié)
2. 深度強(qiáng)化學(xué)習(xí)理論及算法分析
    2.1. 深度學(xué)習(xí)
        2.1.1. 深度學(xué)習(xí)的理論基礎(chǔ)
        2.1.2. 深度學(xué)習(xí)的主要網(wǎng)絡(luò)結(jié)構(gòu)
    2.2. 強(qiáng)化學(xué)習(xí)
        2.2.1. 強(qiáng)化學(xué)習(xí)原理
        2.2.2. 馬爾科夫決策過(guò)程
        2.2.3. Q learning概述
    2.3. 基于值函數(shù)的深度Q網(wǎng)絡(luò)
        2.3.1. 模型結(jié)構(gòu)
        2.3.2. 訓(xùn)練算法
    2.4. 基于策略梯度的深度強(qiáng)化學(xué)習(xí)
        2.4.1. 基于運(yùn)動(dòng)評(píng)價(jià)(Actor-Critic,AC)的深度策略梯度方法
        2.4.2. DDPG(Deep Deterministic Policy Gradient, DDPG)網(wǎng)絡(luò)
    2.5. DQN與DDPG對(duì)比實(shí)驗(yàn)
        2.5.1. OpenAI gym測(cè)試平臺(tái)介紹
        2.5.2. DQN及其改進(jìn)算法與DDPG的對(duì)比實(shí)驗(yàn)結(jié)果
    2.6. 本章小結(jié)
3. 移動(dòng)機(jī)器人系統(tǒng)設(shè)計(jì)及實(shí)驗(yàn)平臺(tái)的搭建
    3.1. 移動(dòng)機(jī)器人平臺(tái)
        3.1.1. Turtlebot機(jī)器人
        3.1.2. Kinect深度相機(jī)
    3.2. 機(jī)器人通訊框架ROS
        3.2.1. ROS系統(tǒng)簡(jiǎn)介
    3.3. 基于ROS與Gazebo的機(jī)器人仿真
        3.3.1. Gazebo簡(jiǎn)介
        3.3.2 配置模擬環(huán)境
        3.3.3. 實(shí)驗(yàn)平臺(tái)展示
    3.4. 本章小結(jié)
4. 基于DDPG算法的移動(dòng)機(jī)器人導(dǎo)航控制
    4.1. DDPG網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)
    4.2. 不同訓(xùn)練環(huán)境對(duì)比實(shí)驗(yàn)
        4.2.1. 訓(xùn)練環(huán)境
        4.2.2. 測(cè)試場(chǎng)景
        4.2.3. 不同訓(xùn)練環(huán)境下的對(duì)比實(shí)驗(yàn)
        4.2.4. 實(shí)驗(yàn)總結(jié)分析
    4.3. 本章小結(jié)
5. 基于地圖的導(dǎo)航算法介紹及對(duì)比實(shí)驗(yàn)
    5.1. 基于地圖的導(dǎo)航算法原理
        5.1.1. Slam背景介紹
        5.1.2. Slam關(guān)鍵技術(shù)概述
    5.2. 利用ros系統(tǒng)進(jìn)行建圖與導(dǎo)航實(shí)驗(yàn)
        5.2.1. 重要功能包配置
        5.2.2. 基于地圖的導(dǎo)航實(shí)驗(yàn)
    5.3. 本章小結(jié)
6. 總結(jié)與展望
    6.1. 研究成果總結(jié)
    6.2. 未來(lái)研究工作展望
參考文獻(xiàn)
個(gè)人簡(jiǎn)介
導(dǎo)師簡(jiǎn)介
致謝



本文編號(hào)：3882134