發(fā)布時間：2020-12-29 21:19

　　在大數(shù)據(jù)的時代背景下,網(wǎng)絡(luò)安全得到了前所未有的重視,但是網(wǎng)絡(luò)安全問題依然十分嚴重,主要體現(xiàn)為:一方面,網(wǎng)絡(luò)攻擊的種類呈現(xiàn)多樣化的特征,安全數(shù)據(jù)體量呈現(xiàn)爆發(fā)式的增長,傳統(tǒng)的網(wǎng)絡(luò)安全分析方法無法滿足海量數(shù)據(jù)分析需求;另一方面,新的攻擊模式不斷涌現(xiàn),為了處理這些問題,基于大數(shù)據(jù)的網(wǎng)絡(luò)異常行為檢測平臺是一種很好的解決方案。其核心概念是:結(jié)合多種大數(shù)據(jù)技術(shù)解決海量數(shù)據(jù)的安全實時處理、分析、關(guān)聯(lián)、分類、檢索,實現(xiàn)安全可視分析、多源事件數(shù)據(jù)關(guān)聯(lián)分析、用戶行為分析等一系列大數(shù)據(jù)安全分析功能。通過大數(shù)據(jù)接入、流式處理、數(shù)據(jù)挖掘等技術(shù)實現(xiàn)高性能、低延遲、高準確性的網(wǎng)絡(luò)異常行為檢測是本平臺致力解決的問題。本文分析了大數(shù)據(jù)檢索技術(shù),設(shè)計了基于Co-Forest的網(wǎng)絡(luò)異常行為檢測算法,利用ELK架構(gòu)實現(xiàn)了一個基于彈性搜索的網(wǎng)絡(luò)流數(shù)據(jù)分析系統(tǒng)。系統(tǒng)中,網(wǎng)絡(luò)數(shù)據(jù)被捕獲、特征提取、流式處理后,交由訓(xùn)練好的網(wǎng)絡(luò)異常行為檢測模型進行識別,并向用戶展示檢測結(jié)果。一旦發(fā)現(xiàn)異常,將報警提醒安全人員處理,并提供回溯取證和關(guān)聯(lián)分析功能。系統(tǒng)基于ELK架構(gòu),分為Web前端與可視化、WebService層、業(yè)務(wù)邏輯層以及數(shù)據(jù)存儲的四層... 

【文章來源】：西安電子科技大學陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：78 頁

【學位級別】：碩士

【部分圖文】：

ELK框架

ElasticSearch的集群設(shè)計

西安電子科技大學碩士學位論文平擴展，實現(xiàn)擴展的需求。ElasticSearch 的默認存儲策略是將索引文件存儲在設(shè)備內(nèi)存中[13]，并在內(nèi)存已滿時將文件保留到本地硬盤。重新啟動群集時，群集將從本文的硬盤中讀取數(shù)據(jù)。2.1.2 LogstachLogstash 作為一個開源的服務(wù)器處理管道，主要的作用就是從多個數(shù)據(jù)源哪里獲取到數(shù)據(jù)，并對這些數(shù)據(jù)進行合理的轉(zhuǎn)換，然后再發(fā)給 ElasticSearch。主要起到一個過濾器的作用，能夠解析各種事件，并轉(zhuǎn)換格式，從而提高后續(xù)工作的效率。根據(jù)不同的情況，Logstash 有兩個主要的配置，托運人和 Indixer。托運人負責在客戶端收集數(shù)據(jù)。托運人支持用于多個數(shù)據(jù)源，如 Sylog，Redis 的文件[14]，ElasticSearch，Rabitmq等索引的作用是處理接收到的日志信息的日志收集。索引器主要有三個處理過程：輸入，濾波器和輸出。輸入模塊負責數(shù)據(jù)輸入的處理中，所述過濾器是負責處理數(shù)據(jù)，并且輸出是負責處理后的數(shù)據(jù)發(fā)送到其他地方。Logstach 框架如圖 2.4 所示。

【參考文獻】：
期刊論文
[1]基于IRT的網(wǎng)絡(luò)安全意識自適應(yīng)測試技術(shù)[J]. 齊斌,鄒紅霞,王宇,李冀興.  北京工業(yè)大學學報. 2019(05)
[2]數(shù)據(jù)中心存儲技術(shù)研究綜述[J]. 王晴.  信息與電腦(理論版). 2019(04)
[3]基于Lindeberg-Feller定理的網(wǎng)絡(luò)異常檢測算法[J]. 賀亮,王永程,李赟,褚衍杰,沈超.  計算機工程與應(yīng)用. 2019(04)
[4]網(wǎng)絡(luò)數(shù)據(jù)流異常檢測研究[J]. 楊姣,高仲合,王來花.  通信技術(shù). 2019(01)
[5]基于中文微博的情緒分類與預(yù)測算法[J]. 郝苗苗,徐秀娟,于紅,趙小薇,許真珍.  計算機應(yīng)用. 2018(S2)
[6]基于大數(shù)據(jù)背景的網(wǎng)絡(luò)安全技術(shù)探究[J]. 劉柏田.  電子世界. 2018(19)
[7]基于Filebeat自動收集Kubernetes日志的分析系統(tǒng)[J]. 翟雅榮,于金剛.  計算機系統(tǒng)應(yīng)用. 2018(09)
[8]深入淺出ELK[J]. 張秀云.  網(wǎng)絡(luò)安全和信息化. 2018(08)
[9]基于ELK的日志分析系統(tǒng)研究及應(yīng)用[J]. 姚攀,馬玉鵬,徐春香.  計算機工程與設(shè)計. 2018(07)
[10]基于ELK的用戶訪問行為分析技術(shù)[J]. 陳楠,陳東輝,鄧莉.  氣象科技進展. 2018(01)

碩士論文
[1]基于ELK和Spark的日志分析系統(tǒng)的研究與實現(xiàn)[D]. 袁華.南昌大學 2018
[2]基于機器學習的URL攻擊行為實時檢測技術(shù)的研究[D]. 楊朋朋.北京郵電大學 2018
[3]基于ELK Stack的實時日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 王裕辰.北京郵電大學 2018
[4]基于大數(shù)據(jù)的網(wǎng)絡(luò)異常行為檢測平臺的設(shè)計與實現(xiàn)[D]. 李若鵬.華南理工大學 2018
[5]基于行為特征的網(wǎng)絡(luò)異常檢測平臺的設(shè)計與實現(xiàn)[D]. 樊夢嬌.哈爾濱工業(yè)大學 2016



本文編號：2946340