近年來(lái),深度強(qiáng)化學(xué)習(xí)在許多領(lǐng)域都取得了一定的成功并得到了廣泛的應(yīng)用。其應(yīng)用是否具備承受攻擊能力和強(qiáng)抗打擊能力也隨之成為近年來(lái)的關(guān)注熱點(diǎn)。因此,在人工智能安全性的大背景下,本文挑選了深度強(qiáng)化學(xué)習(xí)中極具代表性及經(jīng)典的深度Q網(wǎng)絡(luò)(DQN)算法進(jìn)行研究。同時(shí)將強(qiáng)化學(xué)習(xí)系統(tǒng)中的智能體自動(dòng)尋路應(yīng)用作為對(duì)抗應(yīng)用場(chǎng)景,構(gòu)建應(yīng)用上貼近民用的無(wú)人駕駛和軍事實(shí)戰(zhàn)的具有代表性的AI強(qiáng)化學(xué)習(xí)系統(tǒng),并針對(duì)DQN對(duì)對(duì)抗性樣本的脆弱性,對(duì)其進(jìn)行攻擊。本文利用DQN算法實(shí)現(xiàn)智能體的自主尋路,尋路路徑為最優(yōu)最短路徑,同時(shí)對(duì)尋路路徑的規(guī)則及特點(diǎn)進(jìn)行分析和評(píng)估。基于此,本文提出了基于白盒的對(duì)抗性樣本生成算法(WAG)和基于WAG算法的對(duì)抗性樣本預(yù)測(cè)模型(APM)兩種方法。在對(duì)抗性樣本生成的研究中,通過(guò)對(duì)影響DQN路徑規(guī)劃算法的兩個(gè)的因素Q值和梯度值進(jìn)行分析和總結(jié),提出了基于白盒的對(duì)抗性樣本生成算法(WAG)。該算法可以實(shí)現(xiàn)對(duì)所有可能對(duì)路徑規(guī)劃造成攻擊的對(duì)抗性樣本點(diǎn)的檢測(cè)。這些對(duì)抗性樣本會(huì)不同程度的干擾智能體尋路,使其通過(guò)自主尋路無(wú)法達(dá)到應(yīng)有的最優(yōu)最短路徑并能夠成功的降低它的訓(xùn)練效率。在對(duì)抗性樣本的預(yù)測(cè)研究中,本文提出了對(duì)抗性樣本預(yù)測(cè)模型(APM)。對(duì)通過(guò)WAG算法找到的所有疑似對(duì)抗性樣本的特征進(jìn)行分析,根據(jù)對(duì)抗性樣本對(duì)路徑的影響程度即尋路時(shí)長(zhǎng)和尋路步長(zhǎng)將對(duì)抗性樣本分為兩類,分別為普通攻擊點(diǎn)和致命攻擊點(diǎn)。然后,提取對(duì)抗性樣本的Q值和梯度值特征,利用典型相關(guān)分析算法(CCA)實(shí)現(xiàn)特征之間的關(guān)聯(lián)和融合。同時(shí)對(duì)對(duì)抗性樣本建立標(biāo)簽,將對(duì)路徑規(guī)劃影響最大的點(diǎn)命名為“致命攻擊點(diǎn)”,除該點(diǎn)外的點(diǎn)命名為“普通攻擊點(diǎn)”。最后利用K近鄰算法(KNN)實(shí)現(xiàn)對(duì)兩種類型對(duì)抗性樣本點(diǎn)的預(yù)測(cè)。為了證明WAG和APM兩個(gè)方法的有效性,本文構(gòu)建了一個(gè)仿真環(huán)境作為平臺(tái)進(jìn)行實(shí)驗(yàn)。首先制定了是否為對(duì)抗性樣本的判定標(biāo)準(zhǔn),然后通過(guò)大量的實(shí)驗(yàn)發(fā)現(xiàn)通過(guò)提出的WAG算法可以成功的找到對(duì)抗性樣本,并且從多個(gè)角度對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。最后,通過(guò)APM方法建立分類預(yù)測(cè)模型,通過(guò)實(shí)驗(yàn)證明該模型能較好的實(shí)現(xiàn)對(duì)兩種類型的對(duì)抗性樣本點(diǎn)的預(yù)測(cè),且分類模型的準(zhǔn)確率達(dá)到了94.8%。
【學(xué)位單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP18
【部分圖文】：

點(diǎn)）的情況下，借助算法能夠使智能體自動(dòng)算出運(yùn)動(dòng)路徑從而實(shí)現(xiàn)自主尋路的過(guò)??程。也就是說(shuō)，智能體依據(jù)某個(gè)優(yōu)化原則在尋路過(guò)程中避開(kāi)障礙物找到一條從起??點(diǎn)到終點(diǎn)的最優(yōu)最短路徑。如圖１－１所示，為路徑規(guī)劃模型的框架圖。??６??

生成及預(yù)測(cè)研究。??１．４論文結(jié)構(gòu)安排??本文一共分為六章。文章的結(jié)構(gòu)及研究?jī)?nèi)容如圖１－２所示。??研究對(duì)象?研究目標(biāo)??ＡＩ強(qiáng)化學(xué)習(xí)系統(tǒng)對(duì)抗?對(duì)抗樣本生成及預(yù)測(cè)??的：?對(duì)抗樣本類：議兩類職性??強(qiáng)化，法：?：型及特征：樣賴測(cè)１??Ｖ－?￣?￣?￣??研究?jī)?nèi)容??（?基于ＤＱＮ算法的路徑規(guī)劃??ｆ?……?、??／?對(duì)抗樣本生成與構(gòu)建１／基于ＷＡＧ算法的對(duì)＼??Ｉ基子白盒的對(duì)抗樣本生成＾?抗樣本預(yù)測(cè)模型；??＼ｖ?算法（ＷＡＧ）?八?（ＡＰＭ）?：ｊ??／一一－：？「?＇??ｊｇ?仿真實(shí)驗(yàn)構(gòu)建及模型性能評(píng)估??＇＇＾＾ＫＪＵＷ，?■????？??—??圖１－２研究?jī)?nèi)容框架圖??Ｆｉｇｕｒｅ?１－２?Ｆｒａｍｅ?ｄｉａｇｒａｍ?ｏｆ?ｒｅｓｅａｒｃｈ?ｃｏｎｔｅｎｔ??為了更好的梳理文章的研究?jī)?nèi)容，現(xiàn)將文章的結(jié)構(gòu)和安排介紹如下：??論文的第一章為引言部分。在本章中我們簡(jiǎn)要介紹了基于深度強(qiáng)化學(xué)習(xí)的相??關(guān)研究背景，課題的研究目的、意義及將深度強(qiáng)化學(xué)習(xí)應(yīng)用于路徑規(guī)劃場(chǎng)景下的創(chuàng)??新意義。分析了國(guó)內(nèi)外相關(guān)研究領(lǐng)域，按照不同的類型接介紹了最具代表性的幾種??強(qiáng)化學(xué)習(xí)算法。簡(jiǎn)要介紹了深度強(qiáng)化學(xué)習(xí)在路徑規(guī)劃問(wèn)題上的研究現(xiàn)狀及應(yīng)用。并??給出論文的預(yù)期研究成果與結(jié)構(gòu)安排。??論文的第二章為理論基礎(chǔ)與背景知識(shí)。在本章中我們介紹了深度強(qiáng)化學(xué)習(xí)的??９??

層是一個(gè)５ｘ５ｘ３的過(guò)濾器，過(guò)濾器的深度與輸入圖像的深度相同，過(guò)濾器從頂端??開(kāi)始依次掃過(guò)圖像，并與輸入圖像進(jìn)行卷積得到一個(gè)３２ｘ３２ｘ１的特征圖。這樣，??通過(guò)卷積層可以得到更深層次的特征圖。如圖２－１所示是卷積神經(jīng)網(wǎng)絡(luò)的概念示范??圖，其中Ｃ層為特征提取層，Ｓ層為特征映射層。輸入圖像通過(guò)三個(gè)過(guò)濾器和可加??偏執(zhí)進(jìn)行卷積，通過(guò)Ｃ１層會(huì)產(chǎn)生三個(gè)特征映射圖，通過(guò)一個(gè)Ｓｉｇｍｏｉｄ函數(shù)可以得??到三個(gè)Ｓ２層的特征映射圖，再經(jīng)過(guò)過(guò)濾器得到Ｃ３層，再通過(guò)Ｓｉｇｍｏｉｄ函數(shù)得到??Ｓ４，這樣多次迭代這些像素值被光柵化，并連接成一個(gè)向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)??絡(luò)，得到輸出。??池化層是對(duì)通過(guò)卷積層得到的特征圖進(jìn)行壓縮，使特征圖變小，參數(shù)減小來(lái)簡(jiǎn)??化網(wǎng)絡(luò)計(jì)算的復(fù)雜度。它一般有兩種方法，一種是最大池化另一種是平均池化。最??大池化是在特征圖中的每一個(gè)區(qū)域中尋找像素最大值
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 喬鑫偉;;百姓的糧倉(cāng)[J];數(shù)據(jù);2013年08期

2 丁衛(wèi)平;李越;仲慶國(guó);;創(chuàng)新調(diào)查實(shí)施模式 提高直接調(diào)查能力——泰州調(diào)查隊(duì)推行調(diào)查樣本點(diǎn)直接管理工作的思考與實(shí)踐[J];中國(guó)統(tǒng)計(jì);2010年11期

3 曾昭賢;張茂軍;王煒;熊志輝;;基于樣本點(diǎn)能量擴(kuò)散模型的聚類[J];計(jì)算機(jī)應(yīng)用;2011年09期

4 歐陽(yáng)資生;吳喜之;;修正的Pickands估計(jì)樣本點(diǎn)分割的自助估計(jì)方法[J];應(yīng)用數(shù)學(xué)學(xué)報(bào);2006年02期

5 李榮江;;計(jì)算古典概率的若干簡(jiǎn)化方法[J];數(shù)理醫(yī)藥學(xué)雜志;2008年05期

6 王少波,柴艷麗,梁醒培;神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)樣本點(diǎn)的選取方法比較[J];鄭州大學(xué)學(xué)報(bào)(工學(xué)版);2003年01期

7 蔣友寶;黃星星;廖國(guó)宇;張建仁;;基于多線性支持向量機(jī)的樣本點(diǎn)正確分類與復(fù)雜失效方程穩(wěn)步模擬[J];計(jì)算力學(xué)學(xué)報(bào);2015年03期

8 梁路;龔奔龍;黎劍;滕少華;;一種緩解分類面交錯(cuò)的樣本點(diǎn)擴(kuò)散方法[J];計(jì)算機(jī)科學(xué);2017年09期

9 肖海峰;德國(guó)的農(nóng)產(chǎn)量特別調(diào)查[J];北京統(tǒng)計(jì);1997年05期

10 李大偉;呂震宙;張磊剛;;基于優(yōu)化樣本點(diǎn)的雙重Kriging模型的重要性測(cè)度求解方法[J];西北工業(yè)大學(xué)學(xué)報(bào);2014年02期

相關(guān)博士學(xué)位論文 前2條

1 常海超;近似理論在船型優(yōu)化中的應(yīng)用研究[D];武漢理工大學(xué);2014年

2 朱寶;虛擬樣本生成技術(shù)及建模應(yīng)用研究[D];北京化工大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 白肖璇;針對(duì)DQN在路徑規(guī)劃應(yīng)用中的對(duì)抗性樣本生成及預(yù)測(cè)研究[D];北京交通大學(xué);2019年

2 趙林杰;基于多響應(yīng)面方法的結(jié)構(gòu)失效模式識(shí)別與可靠度分析[D];長(zhǎng)沙理工大學(xué);2018年

3 王偉文;拉普拉斯特征映射新增樣本點(diǎn)問(wèn)題及正則化降維研究[D];暨南大學(xué);2017年

4 胡秀英;基于噪聲樣本點(diǎn)的曲線、曲面重構(gòu)[D];天津大學(xué);2008年

5 閆陽(yáng);結(jié)構(gòu)可靠性分析的數(shù)值模擬方法研究[D];清華大學(xué);2012年

6 彭曉琳;基于閉包的分類判別方法研究[D];武漢理工大學(xué);2008年

7 于光華;基于樣本選擇的復(fù)雜分類問(wèn)題研究[D];天津大學(xué);2017年

8 萬(wàn)韓永;基于樣本重要性原理的KNN文本分類算法[D];江西師范大學(xué);2015年

9 許翠云;模糊支持向量機(jī)的研究及其在基因分類中的應(yīng)用[D];南京林業(yè)大學(xué);2013年

10 周永磊;基于Side-Information的若干學(xué)習(xí)問(wèn)題研究[D];清華大學(xué);2005年

本文編號(hào)：2841218