本文關(guān)鍵詞： 大數(shù)據(jù) 日志分析 遠(yuǎn)程日志采集 分布式 數(shù)據(jù)挖掘　出處：《北京郵電大學(xué)》2014年碩士論文　論文類(lèi)型：學(xué)位論文

【摘要】：近年來(lái)企業(yè)信息化程度越來(lái)越高,基于主機(jī)日志的入侵檢測(cè)分析成為企業(yè)安全問(wèn)題檢查的重要手段之一,通過(guò)主機(jī)日志分析可以對(duì)企業(yè)的安全進(jìn)行及時(shí)監(jiān)控,發(fā)現(xiàn)違規(guī)操作,最大限度的減少企業(yè)安全隱患。然而隨著大數(shù)據(jù)時(shí)代的到來(lái),如何有效的應(yīng)對(duì)海量的日志分析成為擺放到設(shè)計(jì)日志分析系統(tǒng)者的首要考慮問(wèn)題。傳統(tǒng)的基于單節(jié)點(diǎn)的集中式的日志處理架構(gòu)設(shè)計(jì)方案由于日志的指數(shù)增長(zhǎng)、動(dòng)態(tài)變換、異構(gòu)的特點(diǎn)已經(jīng)很難滿足日志的分析的海量處理要求了。設(shè)計(jì)一個(gè)高效的、可擴(kuò)展的、實(shí)時(shí)的日志分析平臺(tái),在企業(yè)發(fā)展中顯得尤為重要。 本課題主要基于這樣一個(gè)實(shí)際項(xiàng)目背景,在深入研究日志的特點(diǎn)與現(xiàn)有的分布式平臺(tái)的基礎(chǔ)上,設(shè)計(jì)與實(shí)現(xiàn)了一種基于海量日志分析的入侵檢測(cè)系統(tǒng)平臺(tái)。該平臺(tái)首先根據(jù)企業(yè)的實(shí)際需求出發(fā)采用了無(wú)agent方式收集日志。將企業(yè)客戶內(nèi)部的多個(gè)主機(jī)、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)當(dāng)做日志源通過(guò)關(guān)鍵字分析與關(guān)聯(lián)分析技術(shù)進(jìn)行分析,根據(jù)分析結(jié)果給出告警信息,產(chǎn)生安全事件工單供安全業(yè)務(wù)人員分析,并提供告警報(bào)表。 本文首先介紹了課題的研究背景與相關(guān)領(lǐng)域的發(fā)展趨勢(shì),研究了基于主機(jī)入侵檢測(cè)系統(tǒng)相關(guān)技術(shù),其中重點(diǎn)研究了無(wú)agent遠(yuǎn)程采集技術(shù),其中包括常用的wmi、smb、ssh、telnet、syslog等技術(shù)。研究了數(shù)據(jù)挖掘在日志分析中的應(yīng)用,包括常見(jiàn)的關(guān)聯(lián)規(guī)則挖掘算法Apriori與fp-growth算法的優(yōu)缺點(diǎn),并在此基礎(chǔ)上著重研究現(xiàn)有的關(guān)聯(lián)規(guī)則挖掘算法針對(duì)海量數(shù)據(jù)的特點(diǎn)的改進(jìn),研究了消息中間件rabbitmq在分布式集群海量日志分析中的應(yīng)用。其中重點(diǎn)研究了為了提升rabbitmq對(duì)于海量日志分析的處理速度分別優(yōu)化了rabbitmq的confirm機(jī)制與rabbitmq內(nèi)部狀態(tài)轉(zhuǎn)移過(guò)程。最后基于某公司的實(shí)際業(yè)務(wù)需求對(duì)整個(gè)系統(tǒng)進(jìn)行了詳細(xì)設(shè)計(jì)、對(duì)日志預(yù)處理、解碼、關(guān)聯(lián)分析部分進(jìn)行了重點(diǎn)概要設(shè)計(jì)。并在此基礎(chǔ)上完成了基于主機(jī)入侵檢測(cè)系統(tǒng)的開(kāi)發(fā)與實(shí)現(xiàn)。
[Abstract]:In recent years , the degree of enterprise informationization is becoming higher and higher , and the intrusion detection analysis based on the host log becomes one of the important means of enterprise security problem checking . Based on the background of the actual project , the paper designs and implements an intrusion detection system platform based on mass log analysis based on the characteristics of the log and the existing distributed platform . This paper first introduces the background of the research and the development trend of the related field , and studies the technology of non - agent remote acquisition , including the commonly used technologies such as wmi , smb , shd , telnet , syslog and so on . The application of data mining in log analysis is studied .

【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TP393.08;TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李莉,任秀麗,欒貴興;基于策略的分布式網(wǎng)絡(luò)管理系統(tǒng)[J];東北大學(xué)學(xué)報(bào);2002年06期

2 王偉;;基于Hadoop的分布式索引集群的研究[J];電腦知識(shí)與技術(shù);2011年35期

3 何偉;呂彬;周向軍;;一種提高SMB協(xié)議代理文件下載性能的方法[J];計(jì)算機(jī)安全;2011年01期

4 宋荊漢,李濤,朱偉,陳傳波;大規(guī)模分布式入侵檢測(cè)系統(tǒng)的研究[J];計(jì)算機(jī)工程與應(yīng)用;2003年04期

5 余彥峰;張書(shū)杰;呂羅文;;信息安全報(bào)警多級(jí)融合模型[J];計(jì)算機(jī)工程與應(yīng)用;2006年29期

6 趙小敏,侯強(qiáng),陳慶章;系統(tǒng)日志的安全管理方案與分析處理策略[J];計(jì)算機(jī)工程與科學(xué);2003年03期

7 付建丹;熊選東;張亮忠;王松鋒;王玨;;基于AMQP消息中間件的主動(dòng)狀態(tài)證書(shū)撤銷(xiāo)機(jī)制實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用研究;2012年05期

8 李志芳;潘軍;孫輝;;SSL協(xié)議及WEB安全實(shí)現(xiàn)[J];煤炭技術(shù);2011年05期

9 劉丹,賴鋒;系統(tǒng)安全中Linux日志的實(shí)用研究[J];世界電信;2003年05期

10 姚軍;;利用神經(jīng)網(wǎng)絡(luò)思想 優(yōu)化鐵路運(yùn)營(yíng)模式[J];鐵路采購(gòu)與物流;2012年12期

相關(guān)博士學(xué)位論文 前1條

1 龍文;無(wú)線移動(dòng)環(huán)境下信息安全綜合管理系統(tǒng)關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2009年

，

本文編號(hào)：1546460