【摘要】：隨著大數(shù)據(jù)時(shí)代的到來,以及計(jì)算硬件算力的快速發(fā)展,之前沉寂幾十年的機(jī)器學(xué)習(xí)煥發(fā)了新的生命。深度學(xué)習(xí)(DL)是機(jī)器學(xué)習(xí)和人工智能研究的最新及最火趨勢(shì)之一,深度學(xué)習(xí)不論在學(xué)術(shù)界還是工業(yè)界都是當(dāng)今最流行的研究趨勢(shì)。深度學(xué)習(xí)為計(jì)算機(jī)視覺(CV)和自然語言處理(NLP)還有語音以及醫(yī)療等方向帶來了革命性的進(jìn)步。新的深度學(xué)習(xí)技術(shù)正在不斷誕生,超越最先進(jìn)的機(jī)器學(xué)習(xí)甚至是現(xiàn)有的深度學(xué)習(xí)技術(shù)。隨著深度學(xué)習(xí)的發(fā)展,應(yīng)用深度神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)系統(tǒng)越來越多地部署在與許多與安全相關(guān)的關(guān)鍵領(lǐng)域,包括自動(dòng)駕駛汽車、人臉識(shí)別或者預(yù)測(cè)金融市場(chǎng)漲跌行為,這類系統(tǒng)要求深度學(xué)習(xí)網(wǎng)絡(luò)模型的安全性非常高。但令人遺憾的是,盡管深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能令人印象深刻,但由于訓(xùn)練數(shù)據(jù)偏差,過度擬合和模型不足等原因,對(duì)于一些極端樣例(corner cases)中經(jīng)常會(huì)做出意外或不正確的后果,自動(dòng)駕駛汽車可能會(huì)發(fā)生嚴(yán)重車禍,人臉識(shí)別錯(cuò)誤會(huì)發(fā)生重大財(cái)產(chǎn)及信息損失等等。因此,對(duì)于人身、財(cái)產(chǎn)、信息、網(wǎng)絡(luò)安全都至關(guān)重要的深度學(xué)習(xí)系統(tǒng)必須像傳統(tǒng)軟件一樣,必須經(jīng)過系統(tǒng)地測(cè)試不同的極端案例,以檢測(cè)和修復(fù)任何潛在的缺陷或事與愿違的行為,這就要求我們?cè)O(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)的魯棒性非常強(qiáng)。這個(gè)問題已經(jīng)引起了學(xué)者的廣泛關(guān)注,TianY等人提出了 DeepXplore,首個(gè)針對(duì)深度學(xué)習(xí)系統(tǒng)的自動(dòng)化白盒測(cè)試框架。DeepXplore有效地在目前最先進(jìn)的數(shù)個(gè)深度學(xué)習(xí)模型上發(fā)現(xiàn)了數(shù)千個(gè)不正確的極端案例行為(比如說自動(dòng)駕駛汽車撞向護(hù)欄、惡意軟件偽裝成好軟件)。該工作創(chuàng)新性地提出了神經(jīng)元覆蓋指標(biāo)去查看在執(zhí)行測(cè)試套件(test suite)期間被激活的神經(jīng)元百分比,給我們提供了非常好的思路。同時(shí)該工作還有一些問題沒有解決:可允許的約束不夠靈活,所以得到的輸入只能成為用于訓(xùn)練的輸入,加上一些小的改動(dòng)。另外,沒有針對(duì)現(xiàn)階段應(yīng)用特別多的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)做出測(cè)試。因?yàn)镽NN網(wǎng)絡(luò)獨(dú)有的狀態(tài)機(jī)制,RNN的輸出與輸入之間的關(guān)系比較復(fù)雜,我們對(duì)其進(jìn)行了仔細(xì)的研究,分析出了其獨(dú)特的求導(dǎo)機(jī)制,利用展開計(jì)算圖,使用雅可比矩陣對(duì)每一個(gè)時(shí)刻的輸入進(jìn)行求導(dǎo)。Szegedy等人在有關(guān)敵對(duì)深度學(xué)習(xí)的研究中已經(jīng)證明,神經(jīng)網(wǎng)絡(luò)很容易被欺騙,通過對(duì)現(xiàn)有圖像添加微小干擾而精心制作的合成圖像可以欺騙最先進(jìn)的深度學(xué)習(xí)系統(tǒng)。Papernot等人成功生成遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的敵對(duì)輸入序列。驗(yàn)證了對(duì)抗樣例的生成同樣適用于RNN網(wǎng)絡(luò)。根據(jù)這些已有的工作,我們?cè)诠ぷ髦刑岢隽酸槍?duì)RNN應(yīng)用的輸入更加靈活的限制,讓簡(jiǎn)單的修改和巨大的修改都成為可能。另外,我們同時(shí)在使用RNN的圖像識(shí)別和自然語言處理的應(yīng)用中分別做了測(cè)試,達(dá)到了不錯(cuò)的效果。我們將最后修改的原始輸入加入到訓(xùn)練集中,繼續(xù)訓(xùn)練深度學(xué)習(xí)系統(tǒng),發(fā)現(xiàn)系統(tǒng)的準(zhǔn)確性和魯棒性均有提高。
【圖文】：

ＬＳＴＭ還普遍用于自主語音識(shí)別，２０１３年運(yùn)用Ｔ１ＭＩ據(jù)庫(kù)達(dá)成１７．７％錯(cuò)誤率的紀(jì)錄。作為非線性模型，ＬＳＴＭ可作為復(fù)元用于構(gòu)造更大型深度神經(jīng)網(wǎng)絡(luò)。逡逑面我們簡(jiǎn)單介紹一下ＬＳＴＭ的結(jié)構(gòu)。逡逑ＴＭ由Ｈｏｃｈｅｒｉｔｅｒ和Ｓｃｈｍｉｄｈｕｂｅｒ提出，，其數(shù)學(xué)上的形式化表不如ｉｇｍ（Ｍ／ＸｉＸｔ邋＋邐ｆｔ邋：＝邋ｓ＼ｇｍ（Ｗｘｆｘｔ邋＋邋Ｗｈｆｈｔ＾），逡逑ｉｇｍ（Ｍ＾０ｘｔ邋＋邐ｃｔ邋：＝邋ｓｉｇｍ（Ｍ＾ｃｘｔ邋＋邋Ｗ＾ｈ＾），逡逑Ｏｃｔ－ｉ邋＋邋ｉｔ0ｃｔ，邋ｈｔ邋■■＝邋ｏｔ0ｔａｎｈ（ｃｔ）0逡逑中Ｏ代表元素相乘，ｓｉｇｍ代表ｓｉｇｍｏｉｄ函數(shù)，ｓｉｇｍ（ｚ）邋－邋１＋ｅｘｊ）（＿ｚ）°逡逑ＲＮＮ相比，ＬＳＴＭ多了一個(gè)隱藏狀態(tài)變量，稱為細(xì)胞狀態(tài)，用來?yè)?jù)圖２－３，我們可以對(duì)ＬＳＴＭ中各單元作用進(jìn)行分析：逡逑

用的第二個(gè)數(shù)據(jù)集是Ｆａｓｈｉｏｎ－ＭＮＩＳＴ１１７１。Ｆａｓｈｉｏｎ－ＭＮＩＳ寫數(shù)字集的圖像數(shù)據(jù)集。它是由Ｚａｌａｎｄｏ邋（—家德國(guó)的研究部門提供。其涵蓋了來自１０種類別的共７萬個(gè)不ｈｉｏｎ－ＭＮＩＳＴ的大小、格式和訓(xùn)練集／測(cè)試集劃分與原始。６００００／１００００的訓(xùn)練測(cè)試數(shù)據(jù)劃分，２８Ｘ２８的灰度圖，褲子，套衫，裙子，外套，涼鞋，汗衫，運(yùn)動(dòng)鞋，－２所示：逡逑
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP18;TP393.08

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張yN;;經(jīng)合組織發(fā)布《掌握正確技能:為未來做好準(zhǔn)備的成人學(xué)習(xí)系統(tǒng)》報(bào)告[J];世界教育信息;2019年06期

2 董澤芳;;點(diǎn)燃智慧校園新引擎——南京市大光路小學(xué)智慧學(xué)習(xí)系統(tǒng)的探索實(shí)踐[J];江蘇教育;2019年42期

3 姚堯;陳亮;李尚濱;;泛在學(xué)習(xí)系統(tǒng)及其關(guān)鍵技術(shù)研究[J];林區(qū)教學(xué);2014年06期

4 曹華陽(yáng);;“互聯(lián)網(wǎng)+課堂導(dǎo)學(xué)”課堂學(xué)習(xí)系統(tǒng)下的初中生物教學(xué)的變革[J];中學(xué)生物學(xué);2017年01期

5 盛群力 ,馬蘭;為學(xué)生的有效學(xué)習(xí)系統(tǒng)設(shè)計(jì)教學(xué)[J];寧夏教育;2003年12期

6 倪曉婷;張永勝;馬天宇;張家華;;基于移動(dòng)互聯(lián)網(wǎng)的微學(xué)習(xí)系統(tǒng)的研究與設(shè)計(jì)[J];信息系統(tǒng)工程;2016年12期

7 劉樹聃;萬明;;構(gòu)建基于高等職業(yè)素質(zhì)教育的智慧學(xué)習(xí)系統(tǒng)[J];教育教學(xué)論壇;2017年12期

8 宋承繼;陳小健;王津;;基于移動(dòng)互聯(lián)網(wǎng)在線學(xué)習(xí)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];自動(dòng)化技術(shù)與應(yīng)用;2017年05期

9 陳亦欣;;基于人工智能的在線學(xué)習(xí)系統(tǒng)的研究與設(shè)計(jì)[J];江蘇科技信息;2017年20期

10 劉靜華;;在線學(xué)習(xí)系統(tǒng)在企業(yè)的應(yīng)用效果探析——以電廠教育培訓(xùn)為例[J];人才資源開發(fā);2017年16期

相關(guān)會(huì)議論文 前10條

1 劉偉;王陸;;分布式流媒體案例學(xué)習(xí)系統(tǒng)的設(shè)計(jì)[A];計(jì)算機(jī)與教育：應(yīng)用促進(jìn)學(xué)與教創(chuàng)新——全國(guó)計(jì)算機(jī)輔助教育學(xué)會(huì)第十三屆學(xué)術(shù)年會(huì)論文集[C];2008年

2 孟麥玲;崔新春;崔海亭;;英文單詞學(xué)習(xí)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];計(jì)算機(jī)與教育：應(yīng)用促進(jìn)學(xué)與教創(chuàng)新——全國(guó)計(jì)算機(jī)輔助教育學(xué)會(huì)第十三屆學(xué)術(shù)年會(huì)論文集[C];2008年

3 馮海成;楊耀峰;;體育在線學(xué)習(xí)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];第4屆全國(guó)青年體育科學(xué)學(xué)術(shù)會(huì)議論文摘要匯編[C];2005年

4 羅淳;;基于數(shù)據(jù)挖掘的個(gè)性化學(xué)習(xí)系統(tǒng)模型初探[A];計(jì)算機(jī)與教育：實(shí)踐、創(chuàng)新、未來——全國(guó)計(jì)算機(jī)輔助教育學(xué)會(huì)第十六屆學(xué)術(shù)年會(huì)論文集[C];2014年

5 何曉麗;陳小荷;洪鹿平;盧俊之;;外國(guó)人漢語虛詞輔助學(xué)習(xí)系統(tǒng)研究[A];第三屆學(xué)生計(jì)算語言學(xué)研討會(huì)論文集[C];2006年

6 段凌;;基于Lotus Domino/Notes的協(xié)作學(xué)習(xí)系統(tǒng)的設(shè)計(jì)與開發(fā)[A];計(jì)算機(jī)與教育：應(yīng)用促進(jìn)學(xué)與教創(chuàng)新——全國(guó)計(jì)算機(jī)輔助教育學(xué)會(huì)第十三屆學(xué)術(shù)年會(huì)論文集[C];2008年

7 尚超;;基于語料庫(kù)的面向?qū)ο缶W(wǎng)絡(luò)英語學(xué)習(xí)系統(tǒng)開發(fā)研究[A];第一屆學(xué)生計(jì)算語言學(xué)研討會(huì)論文集[C];2002年

8 鄭穎立;張曉莉;;基于多Agent技術(shù)的協(xié)作學(xué)習(xí)系統(tǒng)[A];’2004計(jì)算機(jī)應(yīng)用技術(shù)交流會(huì)議論文集[C];2004年

9 徐艷青;楊卉;;基于Web Service的分布式案例學(xué)習(xí)系統(tǒng)的開發(fā)[A];計(jì)算機(jī)與教育——全國(guó)計(jì)算機(jī)輔助教育學(xué)會(huì)第十二屆學(xué)術(shù)年會(huì)論文集[C];2005年

10 劉敬光;王陸;;基于網(wǎng)絡(luò)的情境化學(xué)習(xí)系統(tǒng)的研究與實(shí)現(xiàn)[A];計(jì)算機(jī)與教育——全國(guó)計(jì)算機(jī)輔助教育學(xué)會(huì)第十二屆學(xué)術(shù)年會(huì)論文集[C];2005年

相關(guān)重要報(bào)紙文章 前10條

1 王宇霞 賽迪智庫(kù)軟件產(chǎn)業(yè)研究所;類腦智能:人工智能由“弱”向“強(qiáng)”的突破口[N];通信產(chǎn)業(yè)報(bào);2017年

2 上海 張力平;非凡的認(rèn)知計(jì)算[N];電子報(bào);2017年

3 蔡立英 編譯;深度學(xué)習(xí)系統(tǒng)趨向“多才多藝”[N];文匯報(bào);2017年

4 惠州經(jīng)濟(jì)職業(yè)技術(shù)學(xué)院 蔡賢斌;淺談會(huì)計(jì)培訓(xùn)在線學(xué)習(xí)系統(tǒng)需求及設(shè)計(jì)[N];科學(xué)導(dǎo)報(bào);2017年

5 任素萍;建立一個(gè)高效率的學(xué)習(xí)系統(tǒng)[N];山西日?qǐng)?bào);2002年

6 余小娟邋邱玉長(zhǎng);龍巖電業(yè)局“每日三問”問出成效[N];國(guó)家電網(wǎng)報(bào);2008年

7 廣東記者站記者 秦通海 凌曲剛 鄭成桑 河北記者站記者 魏希林 施澤華;培訓(xùn)形式多樣 學(xué)習(xí)系統(tǒng)深入[N];中國(guó)紀(jì)檢監(jiān)察報(bào);2003年

8 胡立強(qiáng)　劉煒;湖南高速交警：全面推廣交通違法網(wǎng)絡(luò)教育學(xué)習(xí)平臺(tái)[N];人民公安報(bào)·交通安全周刊;2008年

9 記者　徐飛鵬;本市開通干部在線學(xué)習(xí)系統(tǒng)[N];北京日?qǐng)?bào);2006年

10 通訊員 毛剛;北京干部在線學(xué)習(xí)系統(tǒng)開通[N];中國(guó)人事報(bào);2006年

相關(guān)博士學(xué)位論文 前8條

1 葉成林;基于網(wǎng)格的移動(dòng)學(xué)習(xí)系統(tǒng)建模與設(shè)計(jì)研究[D];華南師范大學(xué);2006年

2 黃辰;基于智力資源共享的企業(yè)學(xué)習(xí)系統(tǒng)研究[D];北京交通大學(xué);2009年

3 王承軍;高并發(fā)大數(shù)據(jù)在線學(xué)習(xí)系統(tǒng)中的關(guān)鍵技術(shù)研究[D];中國(guó)地質(zhì)大學(xué);2015年

4 黎清孝（Le-Thanh Hieu）;越南在線學(xué)習(xí)系統(tǒng)的設(shè)計(jì)、應(yīng)用與安全措施研究[D];華中科技大學(xué);2015年

5 趙建華;Web環(huán)境下智能協(xié)作學(xué)習(xí)系統(tǒng)構(gòu)建的理論與方法[D];華南師范大學(xué);2002年

6 李?yuàn)?基于視覺聽覺語義相干性的強(qiáng)化學(xué)習(xí)系統(tǒng)的研究[D];太原理工大學(xué);2012年

7 劉曉東;普適學(xué)習(xí)系統(tǒng)中的情境管理研究[D];大連理工大學(xué);2013年

8 馬相春;基于大數(shù)據(jù)的初中數(shù)學(xué)智慧學(xué)習(xí)系統(tǒng)模型研究[D];東北師范大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 魏運(yùn)清;基于RNN結(jié)構(gòu)深度學(xué)習(xí)系統(tǒng)的白盒自動(dòng)化測(cè)試方法的研究[D];山東大學(xué);2019年

2 鞏曉悅;基于個(gè)性化推薦的在線學(xué)習(xí)系統(tǒng)研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

3 郭琴芳;基于知識(shí)圖譜的初中數(shù)學(xué)在線學(xué)習(xí)系統(tǒng)及應(yīng)用[D];西安理工大學(xué);2019年

4 賈晨;不同模態(tài)問題下寬度學(xué)習(xí)系統(tǒng)的研究與應(yīng)用[D];太原理工大學(xué);2019年

5 王飛飛;高職院校學(xué)生數(shù)學(xué)課程在線學(xué)習(xí)系統(tǒng)[D];華北理工大學(xué);2018年

6 陳R汲

本文編號(hào)：2632296