大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)安全事件層出不窮,安全態(tài)勢(shì)感知系統(tǒng)的應(yīng)用勢(shì)在必行。通過(guò)挖掘日志數(shù)據(jù)并進(jìn)行安全分析,可以實(shí)現(xiàn)對(duì)異常事件的追責(zé)與溯源,有效地減少網(wǎng)絡(luò)安全事故的發(fā)生。針對(duì)傳統(tǒng)K-Means算法時(shí)間開銷大、執(zhí)行效率低的問題,將改進(jìn)K-Means算法在大數(shù)據(jù)計(jì)算框架Hadoop上實(shí)現(xiàn)并行化,來(lái)滿足大數(shù)據(jù)下安全態(tài)勢(shì)感知系統(tǒng)日志安全分析的需求。實(shí)驗(yàn)表明,改進(jìn)后的算法在有效性和時(shí)間復(fù)雜度方面都優(yōu)于傳統(tǒng)算法。

【文章頁(yè)數(shù)】：6 頁(yè)

【部分圖文】：

圖2功能模塊圖

圖1系統(tǒng)架構(gòu)圖1.2系統(tǒng)工作原理

圖1系統(tǒng)架構(gòu)圖

安全態(tài)勢(shì)平臺(tái)的總體軟件架構(gòu)由數(shù)據(jù)層、分析層、展示層三部分組成。數(shù)據(jù)層處于整個(gè)系統(tǒng)框架的底層，主要完成的是數(shù)據(jù)源的采集與存儲(chǔ)，將不同來(lái)源的日志切成大小相同的數(shù)據(jù)片后送到各個(gè)節(jié)點(diǎn)。分析層調(diào)用Map和Reduce函數(shù)庫(kù)將任務(wù)進(jìn)行拆分作并行計(jì)算，結(jié)合K-Means聚類算法進(jìn)行聚類結(jié)果分析....

圖3改進(jìn)K-Means算法流程圖

針對(duì)K-Means在數(shù)據(jù)處理方面的缺陷，本文提出一種改進(jìn)K-Means算法。新算法在去除孤立點(diǎn)干擾、尋找合適的聚類中心、判斷中心點(diǎn)收斂的方式等方面做出了改進(jìn)，改善了傳統(tǒng)K-Means算法耗時(shí)長(zhǎng)、執(zhí)行效率低等問題[6]。改進(jìn)后的算法流程圖如圖3所示。改進(jìn)K-Means算法描述如下：

圖4MapReduce并行化處理流程

經(jīng)過(guò)標(biāo)準(zhǔn)化、過(guò)濾、補(bǔ)齊、關(guān)聯(lián)標(biāo)簽等流程后，日志數(shù)據(jù)如表1所示[9]。3.1算法有效性驗(yàn)證

本文編號(hào)：3953542