近年來隨著互聯(lián)網(wǎng)的快速發(fā)展,網(wǎng)絡安全形勢也更加嚴峻。針對日志數(shù)據(jù)的關聯(lián)分析逐漸成為挖掘網(wǎng)絡安全事件的關鍵技術。傳統(tǒng)的關聯(lián)分析算法主要以頻繁項集挖掘為主,但隨著大數(shù)據(jù)時代的到來,安全日志數(shù)據(jù)規(guī)模陡增,數(shù)據(jù)形式更加復雜多樣,頻繁項集的生成效率日漸成為數(shù)據(jù)分析的主要瓶頸。本文從安全數(shù)據(jù)分析需求和傳統(tǒng)算法的不足出發(fā),綜合了大數(shù)據(jù)技術應用的必要性,探討了基于大數(shù)據(jù)的關聯(lián)算法的改進方向,并對典型的算法模型進行了深入的討論剖析。 

【文章來源】：網(wǎng)絡新媒體技術. 2020,9(03)

【文章頁數(shù)】：7 頁

【部分圖文】：

基于 Spark 框架的FP-Growth

基于MapReduce并行的FP-growth 算法

其中針對頻繁模式挖掘算法的性能,研究人員從頻繁模式挖掘的執(zhí)行運行時間和內存消耗兩個方面進行了大量的實驗測試。根據(jù)Meenakshi等人[18]給出的實驗結果,挖掘平均事務大小為15的頻繁項集在水平布局數(shù)據(jù)中的平均執(zhí)行運行時間為30.87s;挖掘平均事務大小為28的頻繁項集在水平布局數(shù)據(jù)中的平均執(zhí)行運行時間為34.01s。這說明無論數(shù)據(jù)庫采用何種布局,挖掘頻繁項集所需的時間一定會隨著數(shù)據(jù)量的增加而急劇增加。此外,挖掘平均事務大小為15的頻繁項集平均需要37.63 MB的內存。這表明,當數(shù)據(jù)規(guī)模大幅度增加時,內存消耗肯定也會相應增加。由上述分析可知,傳統(tǒng)的關聯(lián)分析算法普遍受制于這兩種因素而很難適應海量安全日志數(shù)據(jù)的應用環(huán)境,故我們引入了大數(shù)據(jù)框架來嘗試解決計算問題的瓶頸。圖3 基于MapReduce并行的FP-growth 算法

【參考文獻】：
期刊論文
[1]基于Spark的并行FP-Growth算法優(yōu)化與實現(xiàn)[J]. 陸可,桂偉,江雨燕,杜萍萍.  計算機應用與軟件. 2017(09)
[2]IABS:一個基于Spark的Apriori改進算法[J]. 閆夢潔,羅軍,劉建英,侯傳旺.  計算機應用研究. 2017(08)
[3]基于Spark的Apriori算法的改進[J]. 牛海玲,魯慧民,劉振杰.  東北師大學報(自然科學版). 2016(01)
[4]網(wǎng)絡安全分析中的大數(shù)據(jù)技術應用[J]. 王帥,汪來富,金華敏,沈軍.  電信科學. 2015(07)
[5]一種基于MapReduce的并行FP-growth算法[J]. 楊勇,王偉.  重慶郵電大學學報(自然科學版). 2013(05)
[6]基于MapReduce的海量事件日志并行轉化算法[J]. 竇蒙,聞立杰,王建民,閆志強.  計算機集成制造系統(tǒng). 2013(08)
[7]一種基于日志關聯(lián)分析的取證模型[J]. 周建華.  計算機時代. 2007(10)



本文編號：3536465