基于日志采集技術(shù)的安全事件系統(tǒng)的設(shè)計與實現(xiàn)
發(fā)布時間:2021-02-01 08:01
互聯(lián)網(wǎng)時代社會經(jīng)濟快速發(fā)展,同時作為承載互聯(lián)網(wǎng)及其應(yīng)用的運營商數(shù)據(jù)中心規(guī)模也在不斷拓展。高速發(fā)展的不只是信息化建設(shè),網(wǎng)絡(luò)中的數(shù)據(jù)規(guī)模、數(shù)據(jù)的孤島響應(yīng)、網(wǎng)絡(luò)中設(shè)備的種類和數(shù)量、網(wǎng)絡(luò)潛在的安全風(fēng)險等同樣也發(fā)生了翻天覆地的變化。數(shù)據(jù)中心的運維人員所維護的網(wǎng)絡(luò)越來越大,網(wǎng)絡(luò)中的網(wǎng)元節(jié)點越來越多;各種設(shè)備產(chǎn)生的海量日志信息給運維人員及其單位造成了很大的負(fù)擔(dān);同時安全設(shè)備各自為戰(zhàn)、大量重復(fù)、無效的信息擠壓著運維人員寶貴的時間。市場急需一款產(chǎn)品可以將目標(biāo)網(wǎng)絡(luò)中各種設(shè)備的日志信息進行集中的收集和整合,并且對采集到的日志進行集中范式化處理和入庫存儲,并通過關(guān)聯(lián)分析技術(shù)對存儲的數(shù)據(jù)日志進行數(shù)據(jù)挖掘,分析得出潛在的安全風(fēng)險并向安全運維人員進行事件告警從而減輕運維人員的工作壓力提高工作效率。本文在分析市場需求的基礎(chǔ)上,設(shè)計并實現(xiàn)安全事件系統(tǒng);通過功能架構(gòu)設(shè)計明確系統(tǒng)邊界和范圍,安全事件系統(tǒng)的關(guān)鍵組件及核心功能包括日志采集模塊、資產(chǎn)管理模塊、關(guān)聯(lián)分析模塊等構(gòu)成。同時經(jīng)過調(diào)研國內(nèi)外成熟產(chǎn)品及開源項目的現(xiàn)狀,發(fā)現(xiàn)同類型產(chǎn)品將日志采集的廣度和日志關(guān)聯(lián)分析的深度作為產(chǎn)品的核心競爭力,所以本文將二者作為關(guān)鍵技術(shù)進行突破,...
【文章來源】:西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校
【文章頁數(shù)】:100 頁
【學(xué)位級別】:碩士
【部分圖文】:
數(shù)據(jù)中心日志情況
西安電子科技大學(xué)碩士學(xué)位論文14其風(fēng)險。日志采集支持標(biāo)準(zhǔn)日志信息格式包括Windows、Syslog、SNMP、數(shù)據(jù)庫、VIP、OPSEC、XML、ODBC、讀文件等,通過被采集方推送或采集方抓取的方式獲取被采集方的日志信息。同時在日志采集探針中包含了數(shù)百家廠商的日志范式化的數(shù)據(jù)信息以兼容這些廠家的不同設(shè)備,不同產(chǎn)品所產(chǎn)生的日志信息。當(dāng)然,采集的日志范式化數(shù)據(jù)集是可擴展的,可以向后兼容使用標(biāo)準(zhǔn)協(xié)議的所有安全設(shè)備的日志信息,為信息系統(tǒng)的擴展性,成長性留下了充足的空間。如下所示圖3.2所示日志采集模塊按照采集的手段結(jié)合主動\被動的的信息獲取方式,不間斷地從數(shù)據(jù)中心網(wǎng)絡(luò)中采集各設(shè)備類型的多樣化日志信息,并將這些信息匯集到中心平臺,進行集中化的存儲、分析,并提供統(tǒng)一的日志查詢?nèi)肟;并提供報表功能用以?dǎo)出客戶的周期\非周期的日志趨勢情況,實現(xiàn)日志的全生命周期管理,同時,還采集不同安全域內(nèi)的資產(chǎn)信息,通過網(wǎng)絡(luò)安全設(shè)備與域內(nèi)信息資產(chǎn)的綜合分析得出系統(tǒng)整體的安全風(fēng)險信息。通過部署的安全日志采集模塊,將數(shù)據(jù)中心各網(wǎng)絡(luò)區(qū)域中網(wǎng)元設(shè)備的原始日志(包括但不限于網(wǎng)絡(luò)設(shè)備、主機系統(tǒng)、入侵防御系統(tǒng)、VPN系統(tǒng)、防火墻系統(tǒng)、IDS系統(tǒng)、審計系統(tǒng)、防病毒系統(tǒng)等)集中采集到安全事件系統(tǒng)中的服務(wù)器端進行處理,處理的前提條件為該設(shè)備的日志信息需要提前提供日志格式,安全事件系統(tǒng)根據(jù)事件格式預(yù)先開發(fā)適配解析插件,處理過程為根據(jù)插件ID匹配設(shè)備類型,并結(jié)合過濾、歸并等規(guī)則統(tǒng)一多種類多格式的日志數(shù)據(jù),從而實現(xiàn)了針對全網(wǎng)日志的集中收集和處理,具備了實時事件/業(yè)務(wù)安全監(jiān)控能力,底層通過對數(shù)據(jù)進行挖掘和統(tǒng)計分析,利用查詢和檢索功能,為事后溯源審計提供有利的技術(shù)支持和保障。日志采集模塊負(fù)責(zé)在安全事件系統(tǒng)和安
第三章系統(tǒng)需求分析21日志數(shù)據(jù)表按照日志類型過濾、歸并按照日志級別進行過濾、歸并啟明綠盟天融信華為防火墻IPSWAF安全審計數(shù)據(jù)庫日志安全設(shè)備日志應(yīng)用系統(tǒng)日志其他類型日志廠商類型設(shè)備類型日志類型緊急急一般忽略重要一般重要不重要忽略緊急程度重要程度圖3.8日志處理流程(6)日志采集用例系統(tǒng)管理員日志采集插件日志采集Agent日志源管理設(shè)備插件適配添加日志源刪除日志源安裝agent綠盟防火墻插件啟明入侵檢測插件H3C交換機插件ORACLE數(shù)據(jù)庫插件配置agent<<包含>><<包含>><<包含>><<包含>><<包含>><<擴展>><<擴展>><<擴展>><<擴展>>圖3.9日志采集用例圖系統(tǒng)管理員可以添加日志源、配置日志采集插件及下載安裝日志采集Agent,同時日志采集插件可以按照日志源設(shè)備類型的不同進行區(qū)分。例如綠盟防火墻插件、啟明入侵檢測插件等,日志采集的用例如圖3.9日志采集用例圖所示。(1)用例描述表3.2日志采集模塊用例描述用例ID2用例名稱日志采集模塊用例用例簡介通過用例描述設(shè)備將原始日志經(jīng)過插件配置、數(shù)據(jù)協(xié)議傳輸、范式化過
【參考文獻(xiàn)】:
期刊論文
[1]基于改進Apriori算法的多源安全日志關(guān)聯(lián)分析[J]. 甕俊昊. 現(xiàn)代計算機(專業(yè)版). 2019(09)
[2]基于Hadoop的Web日志分析系統(tǒng)的設(shè)計[J]. 何璇,馬佳琳. 軟件工程. 2019(02)
[3]利用Elastic Stack構(gòu)建集中運維日志分析平臺[J]. 張鵬. 電子技術(shù)與軟件工程. 2018(15)
[4]云計算下的一種關(guān)聯(lián)挖掘算法的研究[J]. 陳建堯. 科技通報. 2018(07)
[5]基于SIEM的APT檢測與防御體系研究[J]. 李艷斐,李斯祺. 網(wǎng)絡(luò)空間安全. 2018(06)
[6]基于網(wǎng)絡(luò)日志進行大數(shù)據(jù)分析的安全感知[J]. 向永謙,李欣,滿建文. 自動化博覽. 2018(06)
[7]網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析方法實踐與反思[J]. 李倩. 黑河學(xué)院學(xué)報. 2018(03)
[8]關(guān)聯(lián)挖掘算法及發(fā)展趨勢[J]. 李忠,安建琴,劉海軍,宋奕瑤. 智能計算機與應(yīng)用. 2017(05)
[9]多源日志聚合分析方法[J]. 顧兆軍,王帥卿,張禮哲. 計算機工程與設(shè)計. 2017(07)
[10]從日志中找線索[J]. 趙志遠(yuǎn),章繼剛,季瑩,孫楠楠. 網(wǎng)絡(luò)安全和信息化. 2017(06)
碩士論文
[1]日志采集器組件LogCollector的設(shè)計與實現(xiàn)[D]. 陳志濤.華中科技大學(xué) 2019
[2]基于ELK的Web日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 羅學(xué)貫.華南理工大學(xué) 2018
[3]基于行為分析的僵尸網(wǎng)絡(luò)畫像技術(shù)研究[D]. 周亞勝.西安電子科技大學(xué) 2018
[4]IDS告警信息關(guān)聯(lián)分析系統(tǒng)的研究與實現(xiàn)[D]. 李思達(dá).北京郵電大學(xué) 2018
[5]基于關(guān)聯(lián)分析的攻擊場景重構(gòu)算法研究[D]. 郭韜.北京郵電大學(xué) 2018
[6]基于時間序列數(shù)據(jù)挖掘的日志分析技術(shù)的研究[D]. 王陳.北京交通大學(xué) 2018
[7]關(guān)聯(lián)和聚類分析在數(shù)據(jù)挖掘中應(yīng)用[D]. 余曉溪.云南大學(xué) 2015
[8]基于日志的安全信息與事件管理系統(tǒng)新架構(gòu)的研究與設(shè)計[D]. 王蘭云.北京郵電大學(xué) 2014
[9]基于Web日志的用戶訪問模式挖掘的研究[D]. 夏聰.江蘇科技大學(xué) 2011
[10]基于SYSLOG的集中日志管理系統(tǒng)的研究與實現(xiàn)[D]. 葉玲肖.浙江工商大學(xué) 2011
本文編號:3012458
【文章來源】:西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校
【文章頁數(shù)】:100 頁
【學(xué)位級別】:碩士
【部分圖文】:
數(shù)據(jù)中心日志情況
西安電子科技大學(xué)碩士學(xué)位論文14其風(fēng)險。日志采集支持標(biāo)準(zhǔn)日志信息格式包括Windows、Syslog、SNMP、數(shù)據(jù)庫、VIP、OPSEC、XML、ODBC、讀文件等,通過被采集方推送或采集方抓取的方式獲取被采集方的日志信息。同時在日志采集探針中包含了數(shù)百家廠商的日志范式化的數(shù)據(jù)信息以兼容這些廠家的不同設(shè)備,不同產(chǎn)品所產(chǎn)生的日志信息。當(dāng)然,采集的日志范式化數(shù)據(jù)集是可擴展的,可以向后兼容使用標(biāo)準(zhǔn)協(xié)議的所有安全設(shè)備的日志信息,為信息系統(tǒng)的擴展性,成長性留下了充足的空間。如下所示圖3.2所示日志采集模塊按照采集的手段結(jié)合主動\被動的的信息獲取方式,不間斷地從數(shù)據(jù)中心網(wǎng)絡(luò)中采集各設(shè)備類型的多樣化日志信息,并將這些信息匯集到中心平臺,進行集中化的存儲、分析,并提供統(tǒng)一的日志查詢?nèi)肟;并提供報表功能用以?dǎo)出客戶的周期\非周期的日志趨勢情況,實現(xiàn)日志的全生命周期管理,同時,還采集不同安全域內(nèi)的資產(chǎn)信息,通過網(wǎng)絡(luò)安全設(shè)備與域內(nèi)信息資產(chǎn)的綜合分析得出系統(tǒng)整體的安全風(fēng)險信息。通過部署的安全日志采集模塊,將數(shù)據(jù)中心各網(wǎng)絡(luò)區(qū)域中網(wǎng)元設(shè)備的原始日志(包括但不限于網(wǎng)絡(luò)設(shè)備、主機系統(tǒng)、入侵防御系統(tǒng)、VPN系統(tǒng)、防火墻系統(tǒng)、IDS系統(tǒng)、審計系統(tǒng)、防病毒系統(tǒng)等)集中采集到安全事件系統(tǒng)中的服務(wù)器端進行處理,處理的前提條件為該設(shè)備的日志信息需要提前提供日志格式,安全事件系統(tǒng)根據(jù)事件格式預(yù)先開發(fā)適配解析插件,處理過程為根據(jù)插件ID匹配設(shè)備類型,并結(jié)合過濾、歸并等規(guī)則統(tǒng)一多種類多格式的日志數(shù)據(jù),從而實現(xiàn)了針對全網(wǎng)日志的集中收集和處理,具備了實時事件/業(yè)務(wù)安全監(jiān)控能力,底層通過對數(shù)據(jù)進行挖掘和統(tǒng)計分析,利用查詢和檢索功能,為事后溯源審計提供有利的技術(shù)支持和保障。日志采集模塊負(fù)責(zé)在安全事件系統(tǒng)和安
第三章系統(tǒng)需求分析21日志數(shù)據(jù)表按照日志類型過濾、歸并按照日志級別進行過濾、歸并啟明綠盟天融信華為防火墻IPSWAF安全審計數(shù)據(jù)庫日志安全設(shè)備日志應(yīng)用系統(tǒng)日志其他類型日志廠商類型設(shè)備類型日志類型緊急急一般忽略重要一般重要不重要忽略緊急程度重要程度圖3.8日志處理流程(6)日志采集用例系統(tǒng)管理員日志采集插件日志采集Agent日志源管理設(shè)備插件適配添加日志源刪除日志源安裝agent綠盟防火墻插件啟明入侵檢測插件H3C交換機插件ORACLE數(shù)據(jù)庫插件配置agent<<包含>><<包含>><<包含>><<包含>><<包含>><<擴展>><<擴展>><<擴展>><<擴展>>圖3.9日志采集用例圖系統(tǒng)管理員可以添加日志源、配置日志采集插件及下載安裝日志采集Agent,同時日志采集插件可以按照日志源設(shè)備類型的不同進行區(qū)分。例如綠盟防火墻插件、啟明入侵檢測插件等,日志采集的用例如圖3.9日志采集用例圖所示。(1)用例描述表3.2日志采集模塊用例描述用例ID2用例名稱日志采集模塊用例用例簡介通過用例描述設(shè)備將原始日志經(jīng)過插件配置、數(shù)據(jù)協(xié)議傳輸、范式化過
【參考文獻(xiàn)】:
期刊論文
[1]基于改進Apriori算法的多源安全日志關(guān)聯(lián)分析[J]. 甕俊昊. 現(xiàn)代計算機(專業(yè)版). 2019(09)
[2]基于Hadoop的Web日志分析系統(tǒng)的設(shè)計[J]. 何璇,馬佳琳. 軟件工程. 2019(02)
[3]利用Elastic Stack構(gòu)建集中運維日志分析平臺[J]. 張鵬. 電子技術(shù)與軟件工程. 2018(15)
[4]云計算下的一種關(guān)聯(lián)挖掘算法的研究[J]. 陳建堯. 科技通報. 2018(07)
[5]基于SIEM的APT檢測與防御體系研究[J]. 李艷斐,李斯祺. 網(wǎng)絡(luò)空間安全. 2018(06)
[6]基于網(wǎng)絡(luò)日志進行大數(shù)據(jù)分析的安全感知[J]. 向永謙,李欣,滿建文. 自動化博覽. 2018(06)
[7]網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析方法實踐與反思[J]. 李倩. 黑河學(xué)院學(xué)報. 2018(03)
[8]關(guān)聯(lián)挖掘算法及發(fā)展趨勢[J]. 李忠,安建琴,劉海軍,宋奕瑤. 智能計算機與應(yīng)用. 2017(05)
[9]多源日志聚合分析方法[J]. 顧兆軍,王帥卿,張禮哲. 計算機工程與設(shè)計. 2017(07)
[10]從日志中找線索[J]. 趙志遠(yuǎn),章繼剛,季瑩,孫楠楠. 網(wǎng)絡(luò)安全和信息化. 2017(06)
碩士論文
[1]日志采集器組件LogCollector的設(shè)計與實現(xiàn)[D]. 陳志濤.華中科技大學(xué) 2019
[2]基于ELK的Web日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 羅學(xué)貫.華南理工大學(xué) 2018
[3]基于行為分析的僵尸網(wǎng)絡(luò)畫像技術(shù)研究[D]. 周亞勝.西安電子科技大學(xué) 2018
[4]IDS告警信息關(guān)聯(lián)分析系統(tǒng)的研究與實現(xiàn)[D]. 李思達(dá).北京郵電大學(xué) 2018
[5]基于關(guān)聯(lián)分析的攻擊場景重構(gòu)算法研究[D]. 郭韜.北京郵電大學(xué) 2018
[6]基于時間序列數(shù)據(jù)挖掘的日志分析技術(shù)的研究[D]. 王陳.北京交通大學(xué) 2018
[7]關(guān)聯(lián)和聚類分析在數(shù)據(jù)挖掘中應(yīng)用[D]. 余曉溪.云南大學(xué) 2015
[8]基于日志的安全信息與事件管理系統(tǒng)新架構(gòu)的研究與設(shè)計[D]. 王蘭云.北京郵電大學(xué) 2014
[9]基于Web日志的用戶訪問模式挖掘的研究[D]. 夏聰.江蘇科技大學(xué) 2011
[10]基于SYSLOG的集中日志管理系統(tǒng)的研究與實現(xiàn)[D]. 葉玲肖.浙江工商大學(xué) 2011
本文編號:3012458
本文鏈接:http://www.sikaile.net/kejilunwen/ruanjiangongchenglunwen/3012458.html
最近更新
教材專著