隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,網(wǎng)絡(luò)安全問(wèn)題日益嚴(yán)峻。面對(duì)日益復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu),網(wǎng)絡(luò)威脅變得更加多元性和破壞性。傳統(tǒng)的安全工具如Snort和防火墻,通過(guò)規(guī)則對(duì)單條日志進(jìn)行匹配分析,不能捕捉完整的攻擊行為,往往會(huì)出現(xiàn)誤報(bào)和漏報(bào)的問(wèn)題,而且規(guī)則編寫依賴經(jīng)驗(yàn)豐富的安全技術(shù)人員的專家知識(shí),系統(tǒng)的泛化能力弱,實(shí)現(xiàn)成本高。本文提出一種基于日志分析的大數(shù)據(jù)威脅感知系統(tǒng),利用機(jī)器學(xué)習(xí)模型搭建系統(tǒng)兩道防線,實(shí)現(xiàn)既快速又精確地感知網(wǎng)絡(luò)威脅,并對(duì)系統(tǒng)模型進(jìn)行可解釋性研究,且對(duì)預(yù)測(cè)結(jié)果和可解釋性研究結(jié)果進(jìn)行展示。在威脅感知系統(tǒng)中,訓(xùn)練樣本是整個(gè)系統(tǒng)的基礎(chǔ),特征的完備性、有效性和標(biāo)注的準(zhǔn)確性關(guān)系著整個(gè)系統(tǒng)的性能。本文研究和設(shè)計(jì)了構(gòu)建行為特征和狀態(tài)特征的方法,并對(duì)特征設(shè)計(jì)降維和降參方法。針對(duì)標(biāo)注不準(zhǔn)確和標(biāo)注樣本少的問(wèn)題,設(shè)計(jì)了基于自適應(yīng)損失的半監(jiān)督學(xué)習(xí)模型,對(duì)樣本進(jìn)行重新標(biāo)注(凈化)和標(biāo)注(擴(kuò)充)。整篇論文的具體工作內(nèi)容如下:1.查閱文獻(xiàn)總結(jié)威脅感知系統(tǒng)的研究背景和意義以及相應(yīng)技術(shù)的研究現(xiàn)狀,從中分析出本文系統(tǒng)的設(shè)計(jì)目標(biāo)和思路。2.對(duì)實(shí)現(xiàn)系統(tǒng)的關(guān)鍵技術(shù)的實(shí)現(xiàn)原理進(jìn)行研究并總結(jié)其特點(diǎn)和使用技巧。關(guān)鍵技術(shù)包括大數(shù)據(jù)平臺(tái)技術(shù)、傳統(tǒng)日志分析技術(shù)、機(jī)器學(xué)習(xí)模型、可解釋性模型和展現(xiàn)層技術(shù)。3.分析傳統(tǒng)構(gòu)建特征方法的缺點(diǎn),提出構(gòu)建行為特征和狀態(tài)特征的方法,并提出了降低稀疏行為特征維度和網(wǎng)絡(luò)參數(shù)個(gè)數(shù)的辦法。分析數(shù)據(jù)采集過(guò)程中出現(xiàn)的兩大問(wèn)題,提出了基于自適應(yīng)損失函數(shù)的半監(jiān)督學(xué)習(xí)模型解決思路,并評(píng)估了半監(jiān)督學(xué)習(xí)模型的性能。4.設(shè)計(jì)威脅感知系統(tǒng)的架構(gòu)和訓(xùn)練、預(yù)測(cè)流程。對(duì)系統(tǒng)中日志采集模塊、日志匹配模塊、日志檢測(cè)模塊、日志分析模塊和結(jié)果展現(xiàn)模塊進(jìn)行詳細(xì)地設(shè)計(jì)實(shí)現(xiàn)。5.通過(guò)實(shí)驗(yàn)訓(xùn)練和評(píng)估系統(tǒng),保證了系統(tǒng)的可靠性和穩(wěn)定性。介紹了系統(tǒng)訓(xùn)練的流程、調(diào)參思路和部分實(shí)驗(yàn)結(jié)果,并評(píng)估系統(tǒng),最后分析模型可解釋性的研究結(jié)果。最后,本文實(shí)現(xiàn)了基于日志分析的大數(shù)據(jù)威脅感知系統(tǒng)。通過(guò)實(shí)驗(yàn)表明,本系統(tǒng)能夠精確高效地定位威脅,同時(shí)具有低誤報(bào)率和漏報(bào)率的特點(diǎn)。模型可解釋性的研究結(jié)果,一方面驗(yàn)證了系統(tǒng)可靠性,另一方面揭示了系統(tǒng)脆弱點(diǎn)和攻擊者的攻擊手段,幫助安全人員管理運(yùn)維服務(wù)器。
【學(xué)位單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP393.08;TP311.13
【部分圖文】：

一，到至關(guān)重要的作用，Ｈｕｍｅ能將多個(gè)服務(wù)器產(chǎn)生的曰志信息統(tǒng)一收集到ＨＤＦＳ，逡逑Ｓｐａｒｋ技術(shù)提供分布式的數(shù)據(jù)處理技術(shù)，論文中的特征構(gòu)建、規(guī)則庫(kù)的建立和逡逑ＸＧＢｏｏｓｔ的訓(xùn)練都通過(guò)Ｓｐａｒｋ平臺(tái)實(shí)現(xiàn)，極大地提高了系統(tǒng)處理速度。逡逑２．１．１邋Ｆｌｕｍｅ逡逑Ｆｌｕｍｅ是ｃｌｏｕｄｅｒａ開(kāi)發(fā)的可靠可用的分布式服務(wù)，用于收集和聚合大量的曰逡逑志數(shù)據(jù)。Ｆｌｕｍｅ具有靈活的體系結(jié)構(gòu)，滿足分布式系統(tǒng)健壯性和容錯(cuò)性，實(shí)現(xiàn)了逡逑故障轉(zhuǎn)移和恢復(fù)機(jī)制，它還提供了簡(jiǎn)單可擴(kuò)展的接口，方便開(kāi)發(fā)人員進(jìn)行自定義逡逑擴(kuò)展。逡逑Ｆｌｕｍｅ由ｓｏｕｒｃｅ、ｃｈａｎｎｅｌ和ｓｉｎｋ三部分構(gòu)成，ｓｏｕｒｃｅ是系統(tǒng)輸入，監(jiān)控?cái)?shù)據(jù)逡逑源，當(dāng)數(shù)據(jù)源被修改后上傳到ｓｉｎｋ指定的輸出，支持文件、文件夾和端口等數(shù)據(jù)逡逑源；ｓｉｎｋ是系統(tǒng)輸出，支持輸出到文件、ＨＤＦＳ和ｋａｆｋａ等，而ｃｈａｎｎｅｌ負(fù)責(zé)將輸逡逑入ｓｏｕｒｃｅ和輸出ｓｉｎｋ嫁接起來(lái)。Ｆｌｕｍｅ支持自定義ｓｏｕｒｃｅ和ｓｉｎｋ結(jié)構(gòu)，如下圖逡逑所示：逡逑

邐＃逡逑圖２－２邋Ｓｐａｒｋ計(jì)算模型逡逑圖２－２中每個(gè)矩形小框都是一個(gè)ＲＤＤ，邋ｓｔａｇｅ劃分的依據(jù)是ＲＤＤ算子操作逡逑是寬依賴還是窄依賴，在ｔｒａｎｓｆｏｒｍ算子中的計(jì)算都是惰性的，并不能立即得到逡逑執(zhí)行，它要等ａｃｔｉｏｎ操作觸發(fā)后才能觸發(fā)生效。ａｃｔｉｏｎ操作觸發(fā)Ｓｐａｒｋ提交Ｊｏｂ逡逑（作業(yè)），將數(shù)據(jù)結(jié)果傳輸給Ｓｐａｒｋ系統(tǒng)并存儲(chǔ)到ＨＤＦＳ。逡逑２．２傳統(tǒng)日志分析技術(shù)逡逑傳統(tǒng)的日志分析技術(shù)利用安全從業(yè)人員或研究人員精湛的技術(shù)和豐富的經(jīng)逡逑驗(yàn)，形成一系列規(guī)則，再對(duì)日志數(shù)據(jù)進(jìn)行模式匹配，從而分析出網(wǎng)絡(luò)安全狀況。逡逑為了適應(yīng)網(wǎng)絡(luò)威脅的多變性，這些技術(shù)往往提供自定義規(guī)則的接口［１７］，讓安全管逡逑理人員能靈活地結(jié)合自身的網(wǎng)絡(luò)環(huán)境自定義規(guī)則來(lái)搭建感知系統(tǒng)。逡逑按照一次分析日志數(shù)量分類，傳統(tǒng)的日志分析技術(shù)分為基于模式匹配的單條逡逑日志分析技術(shù)和基于攻擊圖的多條日志分析技術(shù)，這兩類技術(shù)提供了本文系統(tǒng)第逡逑一道防線的搭建思路

邐＊邐＃逡逑圖２－２邋Ｓｐａｒｋ計(jì)算模型逡逑圖２－２中每個(gè)矩形小框都是一個(gè)ＲＤＤ，邋ｓｔａｇｅ劃分的依據(jù)是ＲＤＤ算子操作逡逑是寬依賴還是窄依賴，在ｔｒａｎｓｆｏｒｍ算子中的計(jì)算都是惰性的，并不能立即得到逡逑執(zhí)行，它要等ａｃｔｉｏｎ操作觸發(fā)后才能觸發(fā)生效。ａｃｔｉｏｎ操作觸發(fā)Ｓｐａｒｋ提交Ｊｏｂ逡逑（作業(yè)），將數(shù)據(jù)結(jié)果傳輸給Ｓｐａｒｋ系統(tǒng)并存儲(chǔ)到ＨＤＦＳ。逡逑２．２傳統(tǒng)日志分析技術(shù)逡逑傳統(tǒng)的日志分析技術(shù)利用安全從業(yè)人員或研究人員精湛的技術(shù)和豐富的經(jīng)逡逑驗(yàn)，形成一系列規(guī)則，再對(duì)日志數(shù)據(jù)進(jìn)行模式匹配，從而分析出網(wǎng)絡(luò)安全狀況。逡逑為了適應(yīng)網(wǎng)絡(luò)威脅的多變性，這些技術(shù)往往提供自定義規(guī)則的接口［１７］，讓安全管逡逑理人員能靈活地結(jié)合自身的網(wǎng)絡(luò)環(huán)境自定義規(guī)則來(lái)搭建感知系統(tǒng)。逡逑按照一次分析日志數(shù)量分類，傳統(tǒng)的日志分析技術(shù)分為基于模式匹配的單條逡逑日志分析技術(shù)和基于攻擊圖的多條日志分析技術(shù)

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李莉;;日志易 利用人工智能從日志分析中尋求機(jī)會(huì)[J];創(chuàng)業(yè)邦;2018年01期

2 李靜;施勇;薛質(zhì);;基于蜜罐日志分析的主動(dòng)防御研究[J];信息安全與通信保密;2009年03期

3 王二暖;康李;;Oracle中使用LogMiner進(jìn)行日志分析[J];電腦開(kāi)發(fā)與應(yīng)用;2007年09期

4 朱欣怡;;基于大數(shù)據(jù)技術(shù)的日志分析體系結(jié)構(gòu)的研究[J];智庫(kù)時(shí)代;2019年15期

5 王逸兮;馮浩;劉芬;;大規(guī)模查詢?nèi)罩痉治瞿Ｐ蜆?gòu)建機(jī)制[J];數(shù)字通信世界;2017年11期

6 錢衛(wèi);袁瑞冬;;集中管理服務(wù)日志[J];網(wǎng)絡(luò)安全和信息化;2017年06期

7 胡沐創(chuàng);;大數(shù)據(jù)日志分析平臺(tái)應(yīng)用探索與實(shí)踐[J];金融科技時(shí)代;2018年01期

8 王立柱;朱茜;;實(shí)時(shí)日志分析系統(tǒng)在河南氣象信息化中的應(yīng)用[J];氣象水文海洋儀器;2018年03期

9 ;SITEVIEW DeepLOG深度日志分析[J];網(wǎng)絡(luò)安全和信息化;2016年05期

10 周航;畢永軍;;日志分析技術(shù)在IT運(yùn)維管理中的應(yīng)用[J];金融電子化;2017年03期

相關(guān)會(huì)議論文 前10條

1 周濤;;基于數(shù)據(jù)挖掘的入侵檢測(cè)日志分析技術(shù)研究[A];第二屆中國(guó)科學(xué)院博士后學(xué)術(shù)年會(huì)暨高新技術(shù)前沿與發(fā)展學(xué)術(shù)會(huì)議程序冊(cè)[C];2010年

2 耿濤;;Web日志分析在電子數(shù)據(jù)取證中的應(yīng)用[A];第二十一次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2006年

3 馬勇;趙學(xué)明;孫波;;基于Aprior算法的Web日志分析方法[A];第27次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2012年

4 魏晨輝;張展;向琳;王書(shū)婷;左德承;;一種基于高端容錯(cuò)計(jì)算機(jī)故障日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];第十四屆全國(guó)容錯(cuò)計(jì)算學(xué)術(shù)會(huì)議(CFTC'2011)論文集[C];2011年

5 付偉;白永超;辛陽(yáng);;一種基于Hadoop和K-means的Web日志分析方案的設(shè)計(jì)[A];第十九屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

6 朱金清;王建新;陳志泊;;基于APRIORI的層次化聚類算法及其在IDS日志分析中的應(yīng)用[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2007年

7 胡雙雙;武斌;;基于攻擊圖的蜜網(wǎng)日志分析[A];第十九屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

8 許丹青;劉奕群;岑榮偉;馬少平;茹立云;楊磊;;基于日志分析的中文輸入法用戶行為研究[A];第五屆全國(guó)青年計(jì)算語(yǔ)言學(xué)研討會(huì)論文集[C];2010年

9 陳晨;鄭康鋒;;一種基于支持向量機(jī)的蜜網(wǎng)系統(tǒng)日志分析方法[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

10 朱江;詹微;林勇;梁翰中;;MOTOROLA BSC多元維模式[A];四川省通信學(xué)會(huì)2007年學(xué)術(shù)年會(huì)論文集[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 ;日志分析中的五個(gè)誤區(qū)[N];網(wǎng)絡(luò)世界;2004年

2 本報(bào)記者 趙明;新一代日志分析系統(tǒng)為企業(yè)運(yùn)維減負(fù)[N];中國(guó)計(jì)算機(jī)報(bào);2016年

3 中科院計(jì)算所 李洋;使用Webalizer進(jìn)行網(wǎng)絡(luò)流量日志分析[N];計(jì)算機(jī)世界;2006年

4 陳代壽;網(wǎng)管的四兩撥千斤[N];中國(guó)計(jì)算機(jī)報(bào);2004年

5 ;Docker支持更深人的容器日志分析[N];中國(guó)信息化周報(bào);2016年

6 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;大數(shù)據(jù)日志分析借機(jī)器學(xué)習(xí)騰飛[N];網(wǎng)絡(luò)世界;2014年

7 王婷;IDC增值服務(wù)：網(wǎng)站日志分析[N];計(jì)算機(jī)世界;2001年

8 重慶 航行者;IIS的安全[N];電腦報(bào);2002年

9 覃進(jìn)文;在Windows 2000&&2003下快速安裝Webalizer[N];中國(guó)電腦教育報(bào);2003年

10 記者 聞丹巖;Cisco與世紀(jì)互聯(lián)讓利用戶[N];中國(guó)計(jì)算機(jī)報(bào);2001年

相關(guān)博士學(xué)位論文 前1條

1 李志強(qiáng);基于網(wǎng)絡(luò)日志的用戶行為分析[D];北京理工大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 馬晨;基于大數(shù)據(jù)機(jī)器學(xué)習(xí)的告警關(guān)聯(lián)分析與預(yù)測(cè)[D];北京郵電大學(xué);2019年

2 段明琪;基于日志分析的大數(shù)據(jù)威脅感知系統(tǒng)的研究[D];北京郵電大學(xué);2019年

3 鮑有;基于云平臺(tái)日志分析的追責(zé)方法研究與設(shè)計(jì)[D];北京郵電大學(xué);2019年

4 馮巖;基于大數(shù)據(jù)的新聞日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

5 張森;基于網(wǎng)絡(luò)查詢?nèi)罩镜膫�(gè)人搜索主題分析與探索[D];山東財(cái)經(jīng)大學(xué);2018年

6 宋橋白;基于Hadoop大數(shù)據(jù)平臺(tái)的網(wǎng)站日志解析系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[D];廈門大學(xué);2018年

7 農(nóng)堂高;面向網(wǎng)易游戲工作室服務(wù)器集群的日志收集工具設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2019年

8 劉紹廷;面向多源異構(gòu)日志的關(guān)聯(lián)與分類研究[D];鄭州大學(xué);2019年

9 何嘉儀;基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)日志檢測(cè)與實(shí)現(xiàn)[D];湖南大學(xué);2014年

10 張興富;首鋼礦業(yè)公司網(wǎng)絡(luò)交換機(jī)日志收集與分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué);2015年

本文編號(hào)：2813576