基于近鄰傳播聚類的離群檢測算法在入侵檢測中的應用研究
本文選題:離群檢測 + 近鄰傳播。 參考:《合肥工業(yè)大學》2017年碩士論文
【摘要】:近年來,數(shù)據(jù)挖掘中的許多方向都取得了不小的突破,在入侵檢測領(lǐng)域也取得了不小的成果。但是在大多數(shù)研究的算法僅僅是針對數(shù)據(jù)集做一般模式的研究,然而在某些時候看來一些與數(shù)據(jù)集中大多數(shù)數(shù)據(jù)模式和行為不一致的數(shù)據(jù)點,也存在著非常重要的研究價值,這些點被稱為離群點,由少量離群點組成的簇被稱為離群簇。在數(shù)據(jù)挖掘中,使用某些算法將數(shù)據(jù)集中這些離群點或者離群簇檢測出來的方法叫做離群檢測。在網(wǎng)絡(luò)環(huán)境中,網(wǎng)絡(luò)入侵行為通常是網(wǎng)絡(luò)行為中比例非常小的一部分行為,并且這部分行為會對網(wǎng)絡(luò)環(huán)境帶來一定的危害而且該行為本身就有別于正常行為,所以可以說網(wǎng)絡(luò)入侵也屬于離群行為。因此,這種特性為離群檢測應用到入侵檢測中提供了理論上的可行性。本文主要研究了基于近鄰傳播聚類的離群檢測算法在入侵檢測中的應用,詳細介紹與分析國內(nèi)外常用的離群檢測算法,并對近鄰傳播算法做了詳細的介紹;證明了該算法應用于離群檢測的可行性,提出了基于近鄰傳播聚類的離群檢測算法;并設(shè)計了基于離群檢測的入侵檢測算法模型與流程,通過AP算法先對數(shù)據(jù)集進行聚類然后進行聚類劃分并計算離群指數(shù),挖掘出入侵行為。通過一些列實驗,驗證了本文提出算法的有效性。本文的主要工作如下:(1)深入的研究了離群檢測技術(shù),分析了離群檢測技術(shù)的現(xiàn)狀,詳細的闡述了離群檢測技術(shù)的各種方法,并分析了這些方法的優(yōu)缺點。(2)詳細的介紹了近鄰傳播聚類算法,針對近鄰傳播算法的特點以及離群檢測的特性與環(huán)境,驗證了近鄰傳播算法應用于離群檢測的可行性,提出了基于近鄰傳播聚類的離群檢測算法。(3)深入的研究了入侵檢測相關(guān)技術(shù),并針對基于離群檢測的入侵檢測提出了相對應的算法模型與流程。(4)設(shè)計了基于近鄰傳播聚類的離群檢測算法應用于入侵檢測的實驗方案,對網(wǎng)絡(luò)入侵檢測數(shù)據(jù)集KDD CUP 99進行了研究分析,并將算法與數(shù)據(jù)集用于實驗,驗證算法的效果。本文提出的ODAP算法應用于入侵檢測環(huán)境中,并根據(jù)實驗的準確率等指標進行評估。實驗表明,基于近鄰傳播聚類的離群檢測算法在入侵檢測中有較好的效果。
[Abstract]:In recent years, great breakthroughs have been made in many fields of data mining, and great achievements have been made in the field of intrusion detection. However, in most researches, the algorithms only focus on the general schema of the data set. However, in some cases, some data points that are inconsistent with most of the data patterns and behaviors in the data set also have very important research value. These points are called outliers, and clusters composed of a few outliers are called outliers. In data mining, using some algorithms to detect outliers or outliers in data sets is called outlier detection. In the network environment, the network intrusion behavior is usually a very small part of the network behavior, and this part of the behavior will bring some harm to the network environment and the behavior itself is different from the normal behavior. So it can be said that network intrusion also belongs to outlier behavior. Therefore, this feature provides a theoretical feasibility for outlier detection in intrusion detection. This paper mainly studies the application of outlier detection algorithm based on nearest neighbor propagation clustering in intrusion detection, introduces and analyzes the common outlier detection algorithms at home and abroad in detail, and introduces the nearest neighbor propagation algorithm in detail. The feasibility of applying this algorithm to outlier detection is proved, and an outlier detection algorithm based on nearest neighbor propagation clustering is proposed, and an intrusion detection algorithm model and flow chart based on outlier detection are designed. First, the data set is clustered by AP algorithm, then the outlier index is calculated and the intrusion behavior is mined. The validity of the proposed algorithm is verified by some column experiments. The main work of this paper is as follows: (1) the outlier detection technology is deeply studied, the current situation of outlier detection technology is analyzed, and the various methods of outlier detection technology are described in detail. The advantages and disadvantages of these methods are analyzed. (2) the nearest neighbor propagation clustering algorithm is introduced in detail. According to the characteristics of the nearest neighbor propagation algorithm and the characteristics and environment of outlier detection, the feasibility of applying the nearest neighbor propagation algorithm to outlier detection is verified. An outlier detection algorithm based on nearest neighbor propagation clustering is proposed. Based on outlier detection, the corresponding algorithm model and flow chart are proposed. An experimental scheme of outlier detection based on nearest neighbor propagation clustering is designed. The network intrusion detection data set KDD CUP 99 is studied and analyzed, and the algorithm and data set are used in experiments to verify the effect of the algorithm. The ODAP algorithm proposed in this paper is applied to the intrusion detection environment and is evaluated according to the experimental accuracy. Experiments show that the outlier detection algorithm based on nearest neighbor propagation clustering is effective in intrusion detection.
【學位授予單位】:合肥工業(yè)大學
【學位級別】:碩士
【學位授予年份】:2017
【分類號】:TP311.13;TP393.08
【相似文獻】
相關(guān)期刊論文 前10條
1 魏藜,宮學慶,錢衛(wèi)寧,周傲英;高維空間中的離群點發(fā)現(xiàn)[J];軟件學報;2002年02期
2 薛安榮;姚林;鞠時光;陳偉鶴;馬漢達;;離群點挖掘方法綜述[J];計算機科學;2008年11期
3 李存華;;l_∞度量意義下的離群點檢測[J];淮海工學院學報(自然科學版);2008年02期
4 李昕;顏學峰;;融合離群點判別的穩(wěn)態(tài)檢測方法及其應用[J];華東理工大學學報(自然科學版);2009年01期
5 封海岳;薛安榮;;基于重疊模塊度的社區(qū)離群點檢測[J];計算機應用與軟件;2013年05期
6 王柏鈞,王力勤;《穩(wěn)健回歸與離群點檢測》介紹[J];成都氣象學院學報;1989年04期
7 黃添強;秦小麟;葉飛躍;;基于方形鄰域的離群點查找新方法[J];控制與決策;2006年05期
8 熊君麗;;高維空間下基于密度的離群點探測算法實現(xiàn)[J];現(xiàn)代電子技術(shù);2006年15期
9 黃添強;秦小麟;王欽敏;;空間離群點的模型與跳躍取樣查找算法[J];中國圖象圖形學報;2006年09期
10 陳光平;葉東毅;;一種改進的離群點檢測方法[J];福州大學學報(自然科學版);2007年03期
相關(guān)會議論文 前9條
1 張鋒;常會友;;茫然第三方支持的隱私保持離群點探測協(xié)議[A];第二十四屆中國數(shù)據(jù)庫學術(shù)會議論文集(研究報告篇)[C];2007年
2 連鳳娜;吳錦林;薛永生;;一種改進的基于距離的離群挖掘算法[A];第二十四屆中國數(shù)據(jù)庫學術(shù)會議論文集(技術(shù)報告篇)[C];2007年
3 梁雪琴;劉紅生;代秀梅;周亞芬;;聚類離群點挖掘技術(shù)在內(nèi)部審計信息化中的應用——一個來自商業(yè)銀行信用卡審計的實例[A];全國內(nèi)部審計理論研討優(yōu)秀論文集(2013)[C];2014年
4 于浩;王斌;肖剛;楊曉春;;基于距離的不確定離群點檢測[A];第26屆中國數(shù)據(jù)庫學術(shù)會議論文集(A輯)[C];2009年
5 許龍飛;熊君麗;段敏;;基于粗糙集的高維空間離群點發(fā)現(xiàn)算法研究[A];第二十屆全國數(shù)據(jù)庫學術(shù)會議論文集(技術(shù)報告篇)[C];2003年
6 劉文遠;李振平;王寶文;裴繼輝;;一種多維數(shù)據(jù)的離群點檢測算法[A];2007年全國第十一屆企業(yè)信息化與工業(yè)工程學術(shù)會議論文集[C];2007年
7 魏藜;錢衛(wèi)寧;周傲英;;HOT:尋找高維空間中的離群點[A];第十八屆全國數(shù)據(jù)庫學術(shù)會議論文集(研究報告篇)[C];2001年
8 周紅福;錢衛(wèi)寧;魏藜;周傲英;;EDOLOIS:高效準確的子空間局部離群點發(fā)現(xiàn)[A];第二十屆全國數(shù)據(jù)庫學術(shù)會議論文集(研究報告篇)[C];2003年
9 魏藜;錢衛(wèi)寧;周傲英;;SLOT:基于估計的高效子空間局部離群點發(fā)現(xiàn)[A];第十九屆全國數(shù)據(jù)庫學術(shù)會議論文集(研究報告篇)[C];2002年
相關(guān)博士學位論文 前10條
1 劉莘;基于時空分析的CCS泄漏預警關(guān)鍵技術(shù)研究[D];中國礦業(yè)大學;2016年
2 劉露;異質(zhì)信息網(wǎng)絡(luò)中離群點檢測方法研究[D];吉林大學;2017年
3 楊鵬;離群檢測及其優(yōu)化算法研究[D];重慶大學;2010年
4 林海;離群檢測及離群釋義空間查找算法研究[D];重慶大學;2012年
5 薛安榮;空間離群點挖掘技術(shù)的研究[D];江蘇大學;2008年
6 楊茂林;離群檢測算法研究[D];華中科技大學;2012年
7 金義富;高維稀疏離群數(shù)據(jù)集延伸知識發(fā)現(xiàn)研究[D];重慶大學;2007年
8 雷大江;離群檢測與離群釋義算法研究[D];重慶大學;2012年
9 萬家強;基于連通性的離群檢測與聚類研究[D];重慶大學;2014年
10 唐向紅;數(shù)據(jù)流離群點檢測研究[D];華中科技大學;2010年
相關(guān)碩士學位論文 前10條
1 韓紅霞;基于距離離群點的分析與研究[D];江蘇大學;2007年
2 黃馨玉;基于鄰域重心變化的離群點檢測算法研究[D];遼寧大學;2015年
3 程百球;基于EP模式的離群點發(fā)現(xiàn)[D];安慶師范學院;2015年
4 歐陽根平;Hadoop云平臺下基于離群點挖掘的入侵檢測技術(shù)研究[D];電子科技大學;2015年
5 鄧璇;數(shù)據(jù)流挖掘關(guān)鍵技術(shù)研究與實現(xiàn)[D];電子科技大學;2015年
6 周瑩瑩;利用離群點檢測改進協(xié)同過濾推薦算法[D];南京郵電大學;2015年
7 陳娟;基于離群特征提取和能量計算的SVM股市預測研究[D];合肥工業(yè)大學;2014年
8 張友強;基于選擇性集成學習的離群點檢測研究[D];青島科技大學;2016年
9 王美晶;基于PSO算法的離群點檢測方法研究[D];福州大學;2013年
10 關(guān)皓文;基于離群點檢測方法的醫(yī)保異常發(fā)現(xiàn)[D];山東大學;2016年
,本文編號:1866360
本文鏈接:http://www.sikaile.net/guanlilunwen/ydhl/1866360.html