本文關(guān)鍵詞：高速網(wǎng)絡(luò)流頻繁項(xiàng)挖掘算法

  更多相關(guān)文章： 網(wǎng)絡(luò)流 頻繁項(xiàng) 數(shù)據(jù)挖掘 剪枝策略 計(jì)數(shù)算法 散列算法 重尾分布 計(jì)數(shù)型布魯姆過濾器

【摘要】：在當(dāng)前骨干網(wǎng)絡(luò)鏈路速率呈幾何倍數(shù)增長(zhǎng)的情況下,實(shí)時(shí)準(zhǔn)確地挖掘出網(wǎng)絡(luò)流中的頻繁項(xiàng)對(duì)于網(wǎng)絡(luò)管理和網(wǎng)絡(luò)安全具有重要的意義.在SS(space saving)計(jì)數(shù)算法的啟發(fā)之下,針對(duì)網(wǎng)絡(luò)流的實(shí)際特性,提出了一種剪枝操作受時(shí)間和流長(zhǎng)雙重約束的網(wǎng)絡(luò)流頻繁項(xiàng)挖掘算法(integrated weighted frequent items mining,IWFIM).IWFIM計(jì)數(shù)算法采用時(shí)間和流長(zhǎng)組合賦權(quán)的方式為每個(gè)流項(xiàng)賦權(quán),且算法每次剪枝操作時(shí)總是刪除權(quán)值最小的流項(xiàng).在IWFIM算法的基礎(chǔ)上,依據(jù)網(wǎng)絡(luò)流的重尾分布特性,又提出了一種能夠結(jié)合散列方法和計(jì)數(shù)方法優(yōu)點(diǎn)的網(wǎng)絡(luò)流頻繁項(xiàng)挖掘算法(counting Blooming filter and integrated weighted frequent items mining,CBF_IWFIM).CBF_IWFIM算法首先采用改進(jìn)的計(jì)數(shù)型布魯姆過濾器(counting Blooming filter,CBF)在不保存網(wǎng)絡(luò)流信息的情況下過濾掉絕大部分的短流,然后采用IWFIM算法實(shí)現(xiàn)網(wǎng)絡(luò)流頻繁項(xiàng)挖掘.通過實(shí)際網(wǎng)絡(luò)流量測(cè)試表明,CBF_IWFIM和IWFIM算法具有非常高的空間利用率和準(zhǔn)確率,2種算法對(duì)于網(wǎng)絡(luò)流頻繁項(xiàng)的挖掘效果明顯優(yōu)于SS等3種算法,即使在使用其他算法1?3緩存的極端情況下,CBF_IWFIM和IWFIM 2種算法的頻繁項(xiàng)識(shí)別效果仍然要優(yōu)于SS等算法.
【作者單位】： 中國(guó)人民解放軍95034部隊(duì);空軍工程大學(xué)信息與導(dǎo)航學(xué)院;空軍后勤部;
【關(guān)鍵詞】： 網(wǎng)絡(luò)流 頻繁項(xiàng) 數(shù)據(jù)挖掘 剪枝策略 計(jì)數(shù)算法 散列算法 重尾分布 計(jì)數(shù)型布魯姆過濾器
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61201209) 陜西省自然科學(xué)基金重點(diǎn)項(xiàng)目(2012JZ8005) 全軍軍事學(xué)研究生課題(2010JYXXXX-488)
【分類號(hào)】：TP393.06
【正文快照】： filter and integrated weighted frequent items mining,CBF_IWFIM).CBF_IWFIM算法首先采用改進(jìn)的計(jì)數(shù)型布魯姆過濾器(counting Blooming filter,CBF)在不保存網(wǎng)絡(luò)流信息的情況下過濾掉絕大部分的短流,然后采用IWFIM算法實(shí)現(xiàn)網(wǎng)絡(luò)流頻繁項(xiàng)挖掘.通過實(shí)際網(wǎng)絡(luò)流量測(cè)試表明,CBF_I

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前8條

1 裴育杰;王洪波;程時(shí)端;;基于兩級(jí)LRU機(jī)制的大流檢測(cè)算法[J];電子學(xué)報(bào);2009年04期

2 張震;汪斌強(qiáng);陳庶樵;朱珂;;基于多維計(jì)數(shù)型布魯姆過濾器的大流檢測(cè)機(jī)制[J];電子與信息學(xué)報(bào);2010年07期

3 謝冬青;周再紅;駱嘉偉;;基于LRU和SCBF的大象流提取及其在DDoS防御中的應(yīng)用[J];計(jì)算機(jī)研究與發(fā)展;2011年08期

4 張玉;方濱興;張永錚;;高速網(wǎng)絡(luò)監(jiān)控中大流量對(duì)象的識(shí)別[J];中國(guó)科學(xué):信息科學(xué);2010年02期

5 王偉平;李建中;張冬冬;郭龍江;;一種有效的挖掘數(shù)據(jù)流近似頻繁項(xiàng)算法[J];軟件學(xué)報(bào);2007年04期

6 王風(fēng)宇;云曉春;王曉峰;王勇;;高速網(wǎng)絡(luò)監(jiān)控中大流量對(duì)象的提取[J];軟件學(xué)報(bào);2007年12期

7 吳樺;龔儉;楊望;;一種基于雙重Counter Bloom Filter的長(zhǎng)流識(shí)別算法[J];軟件學(xué)報(bào);2010年05期

8 張震;汪斌強(qiáng);張風(fēng)雨;梁寧寧;;基于LRU-BF策略的網(wǎng)絡(luò)流量測(cè)量算法[J];通信學(xué)報(bào);2013年01期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 蒲天銀;秦拯;;安全態(tài)勢(shì)數(shù)據(jù)源近似頻繁項(xiàng)分析算法應(yīng)用[J];福建電腦;2009年08期

2 謝玉忠;朱國(guó)魂;吳春;;一種實(shí)時(shí)有效的AECFP數(shù)據(jù)流頻繁項(xiàng)挖掘算法[J];桂林電子科技大學(xué)學(xué)報(bào);2009年06期

3 盛小春;薛小鋒;;基于數(shù)據(jù)流的頻繁項(xiàng)集數(shù)據(jù)挖掘算法研究[J];江蘇技術(shù)師范學(xué)院學(xué)報(bào);2012年04期

4 李振國(guó);鄭惠中;;網(wǎng)絡(luò)流量采集方法研究綜述[J];吉林大學(xué)學(xué)報(bào)(信息科學(xué)版);2014年01期

5 胡曉艷;龔儉;;信息中心網(wǎng)絡(luò)中網(wǎng)絡(luò)緩存的角色探索[J];電信科學(xué);2014年03期

6 任高明;夏靖波;喬向東;楊仝;;一種用于小流估計(jì)的數(shù)據(jù)包公平抽樣算法[J];電子科技大學(xué)學(xué)報(bào);2014年04期

7 葛琳;季新生;江濤;;基于關(guān)聯(lián)規(guī)則的網(wǎng)絡(luò)信息內(nèi)容安全事件發(fā)現(xiàn)及其Map-Reduce實(shí)現(xiàn)[J];電子與信息學(xué)報(bào);2014年08期

8 張毅卜;夏靖波;孫昱;任高明;;一種新的基于LRU的大流檢測(cè)算法[J];電視技術(shù);2014年15期

9 孫世國(guó);黃志敏;葉尚興;江友華;;基于分布式光纖的電力電纜檢測(cè)數(shù)據(jù)質(zhì)量?jī)?yōu)化技術(shù)[J];電力建設(shè);2014年09期

10 金蒼宏;劉澤民;吳明暉;應(yīng)晶;;一種流數(shù)據(jù)立方體分析挖掘框架[J];電信科學(xué);2014年09期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前1條

1 劉馬金;王鵬;汪衛(wèi);;一種輪轉(zhuǎn)的數(shù)據(jù)流頻繁項(xiàng)挖掘算法[A];NDBC2010第27屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集(B輯)[C];2010年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 馮光升;面向認(rèn)知網(wǎng)絡(luò)的自適應(yīng)QoS感知與配置方法[D];哈爾濱工程大學(xué);2009年

2 馮博;基于半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)流挖掘算法研究[D];北京郵電大學(xué);2011年

3 屠莉;流數(shù)據(jù)的頻繁項(xiàng)挖掘及聚類的關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2009年

4 張進(jìn);基于布魯姆過濾器的IP骨干網(wǎng)流量分析前端處理算法研究[D];解放軍信息工程大學(xué);2008年

5 張玉;骨干網(wǎng)流監(jiān)測(cè)關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2010年

6 由育陽(yáng);數(shù)據(jù)流容錯(cuò)挖掘算法研究[D];哈爾濱工程大學(xué);2011年

7 劉彩蘋;無線傳感器網(wǎng)絡(luò)聚集查詢關(guān)鍵技術(shù)研究[D];湖南大學(xué);2011年

8 郭建奎;數(shù)據(jù)流相似性查詢及模式挖掘研究[D];復(fù)旦大學(xué);2008年

9 趙章榮;精密超磁致伸縮微位移驅(qū)動(dòng)智能構(gòu)件技術(shù)研究[D];浙江大學(xué);2009年

10 陳華輝;基于遺忘特性的數(shù)據(jù)流概要結(jié)構(gòu)及其應(yīng)用研究[D];復(fù)旦大學(xué);2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 徐軍;網(wǎng)絡(luò)監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2010年

2 董永吉;基于公平機(jī)制的網(wǎng)絡(luò)測(cè)量抽樣算法研究[D];解放軍信息工程大學(xué);2009年

3 崔燕;基于行為特征的P2P流識(shí)別技術(shù)的研究[D];解放軍信息工程大學(xué);2009年

4 許厘，

本文編號(hào)：1126176