隨著互聯(lián)網(wǎng)+時(shí)代的來(lái)臨,網(wǎng)絡(luò)安全事件層出不窮,尤其是在大數(shù)據(jù)時(shí)代,網(wǎng)絡(luò)安全性顯得格外重要,日志數(shù)據(jù)作為大數(shù)據(jù)中一個(gè)重要的分支,記錄設(shè)備運(yùn)行狀態(tài)的重要途徑,通過(guò)分析日志作為可事前防護(hù)、事后追責(zé)的安全審計(jì)手段,可以實(shí)時(shí)掌握網(wǎng)絡(luò)安全態(tài)勢(shì),制定一系列切實(shí)可行的安全防御方案,提高網(wǎng)絡(luò)安全性。日志挖掘的技術(shù)層出不窮,隨著網(wǎng)絡(luò)的不斷發(fā)展,在面對(duì)新型或無(wú)先驗(yàn)規(guī)則的攻擊模式下,聚類分析在數(shù)據(jù)挖掘中應(yīng)用的更為廣泛,因此,基于聚類的日志分析方法在面對(duì)瞬息萬(wàn)變的網(wǎng)絡(luò)環(huán)境有著重要的研究?jī)r(jià)值與意義,此外,安全日志作為記錄網(wǎng)絡(luò)安全設(shè)備運(yùn)行的審計(jì)手段,越來(lái)越得到人們的重視,甚至被稱為“暗數(shù)據(jù)”,其蘊(yùn)藏的價(jià)值不言而喻,單機(jī)模式下的日志分析在處理小數(shù)據(jù)集時(shí)較有優(yōu)勢(shì),可是當(dāng)面對(duì)每日以PB級(jí)增長(zhǎng)的數(shù)據(jù)量時(shí),顯得捉襟見(jiàn)肘。為此,如何存儲(chǔ)與分析海量安全日志成了當(dāng)下日志分析的研究重點(diǎn)。針對(duì)以上存在的問(wèn)題,本文基于Hadoop環(huán)境下對(duì)海量安全日志分析技術(shù)做了深入的研究,依托現(xiàn)有的研究背景與現(xiàn)狀,優(yōu)化了聚類經(jīng)典算法K-Means,并將其實(shí)現(xiàn)了并行化,實(shí)現(xiàn)了海量日志的并行化分析,最后設(shè)計(jì)了一個(gè)日志分析追責(zé)系統(tǒng),并對(duì)其相關(guān)性能進(jìn)行了測(cè)試。...

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景與意義
    1.2 研究現(xiàn)狀
    1.3 論文的主要工作及結(jié)構(gòu)
        1.3.1 論文的結(jié)構(gòu)
        1.3.2 論文的主要工作
第二章 關(guān)鍵技術(shù)
    2.1 日志分析基礎(chǔ)
        2.1.1 日志采集
        2.1.2 日志類型與格式
    2.2 日志挖掘
        2.2.1 Web日志挖掘
        2.2.2 日志挖掘流程
        2.2.3 數(shù)據(jù)挖掘
        2.2.4 日志挖掘中的聚類
    2.3 Hadoop
        2.3.1 HDFS
        2.3.2 Map/Reduce
    2.4 本章小結(jié)
第三章 基于MMD及均值思想的K-Means算法改進(jìn)
    3.1 傳統(tǒng)K-Means算法特點(diǎn)
        3.1.1 K-Means算法的優(yōu)點(diǎn)
        3.1.2 K-Means算法的缺陷
        3.1.3 相關(guān)概念
    3.2 基于MMD及均值思想的K-Means算法改進(jìn)
        3.2.1 基于MMD及均值思想的K-Means算法改進(jìn)
        3.2.2 算法準(zhǔn)確率驗(yàn)證
    3.3 本章小結(jié)
第四章 基于Map/Reduce的K-Means的并行化實(shí)現(xiàn)
    4.1 基于Map/Reduce的K-Means的并行化整體設(shè)計(jì)思路
    4.2 基于Map/Reduce的改進(jìn)的K-Means并行化框架
    4.3 并行化實(shí)現(xiàn)的具體步驟
    4.4 本章小結(jié)
第五章 日志分析追責(zé)系統(tǒng)的研究與設(shè)計(jì)
    5.1 系統(tǒng)研究基礎(chǔ)
        5.1.1 系統(tǒng)需求分析
        5.1.2 技術(shù)路線
    5.2 系統(tǒng)環(huán)境及框架設(shè)計(jì)
        5.2.1 數(shù)據(jù)層
        5.2.2 分析層
        5.2.3 展示層
    5.3 系統(tǒng)模塊設(shè)計(jì)
        5.3.1 日志采集
        5.3.2 日志預(yù)處理與存儲(chǔ)
        5.3.3 日志分析
        5.3.4 界面展示
    5.4 本章小結(jié)
第六章 系統(tǒng)環(huán)境部署與測(cè)試
    6.1 環(huán)境搭建
    6.2 性能測(cè)試
        6.2.1 評(píng)價(jià)指標(biāo)
        6.2.2 日志采集與處理能力驗(yàn)證
        6.2.3 并行化性能驗(yàn)證
    6.3 本章小結(jié)
第七章 總結(jié)與問(wèn)題及展望
    7.1 總結(jié)
    7.2 問(wèn)題及展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文



本文編號(hào)：3874173