本文關鍵詞：基于Hadoop的網(wǎng)絡分流和流特征計算

  更多相關文章： MapReduce 網(wǎng)絡分流 特征 并行計算

【摘要】：網(wǎng)絡流量特征計算是網(wǎng)絡流量分析的一個重要步驟,對于海量網(wǎng)絡流量數(shù)據(jù),并行化計算網(wǎng)絡流量特征是高效網(wǎng)絡流量分析的重要方法。針對傳統(tǒng)單機處理成本高、可擴展性差的問題,提出一種基于Map Reduce編程模型的網(wǎng)絡流量分析方法,并行實現(xiàn)網(wǎng)絡分流和流量特征計算。通過使用Hadoop平臺對實際數(shù)據(jù)進行分析,統(tǒng)計常用網(wǎng)絡流量屬性特征,實驗表明,該方法分析網(wǎng)絡流量特征的結果準確可信,且適合分析大流量數(shù)據(jù)。
【作者單位】： 重慶市高校通信網(wǎng)測試技術工程研究中心;重慶郵電大學通信與信息工程學院;重慶郵電大學電子信息與網(wǎng)絡工程研究院;
【基金】：重慶市應用開發(fā)計劃基金資助項目(No.cstc2013yykf A40006)
【分類號】：TP393.06
【正文快照】： 1引言隨著互聯(lián)網(wǎng)的發(fā)展,網(wǎng)絡流量分析在諸多方面得到了應用,利用網(wǎng)絡流量特征信息可統(tǒng)計網(wǎng)絡負荷、檢測通信質量、預測網(wǎng)絡流量以及分類網(wǎng)絡流量等,網(wǎng)絡流量分析是準確檢測管理和控制網(wǎng)絡的基礎。參考文獻[1]表明,基于數(shù)據(jù)流和抽樣方法是流量測量中的主要方法,其中抽樣方法雖

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前5條

1 李明;葉繼華;李建蓮;楊慶紅;丁樹良;;基于Hash聚合的網(wǎng)絡流量管理研究[J];江西師范大學學報(自然科學版);2011年02期

2 楊新宇;楊樹森;李娟;;基于非線性預處理網(wǎng)絡流量預測方法的泛洪型DDoS攻擊檢測算法[J];計算機學報;2011年02期

3 何高峰;楊明;羅軍舟;張璐;;Tor匿名通信流量在線識別方法[J];軟件學報;2013年03期

4 周愛平;程光;郭曉軍;;高速網(wǎng)絡流量測量方法[J];軟件學報;2014年01期

5 QIAO Yuan-yuan;LEI Zhen-ming;YUAN Lun;GUO Min-jie;;Offline traffic analysis system based on Hadoop[J];The Journal of China Universities of Posts and Telecommunications;2013年05期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王玨;;重疊型P2P網(wǎng)絡中的查詢負載均衡策略研究[J];江西師范大學學報(自然科學版);2012年03期

2 李秉桓;董永吉;;一種NetFIow流量采集探測器的設計[J];計算機安全;2012年02期

3 李振國;鄭惠中;;網(wǎng)絡流量采集方法研究綜述[J];吉林大學學報(信息科學版);2014年01期

4 謝柏林;蔣盛益;張倩生;;基于請求關鍵詞的應用層DDoS攻擊檢測方法[J];計算機科學;2013年07期

5 馮瑋;葉繼華;程艷;;一種改進的數(shù)據(jù)包丟棄概率計算方法PRED[J];計算機工程與應用;2013年16期

6 李雙;;一種安全的具有匿名性的可搜索加密方案[J];計算機工程與應用;2013年16期

7 李春林;黃月江;牛長喜;;一種面向云計算的網(wǎng)絡異常流量分組方法[J];計算機應用研究;2014年12期

8 謝麗霞;代其魁;楊宏宇;;一種基于多元異常分析的網(wǎng)絡自主防護機制[J];中國科學技術大學學報;2011年10期

9 張祖蓮;王命全;李景林;顧雅文;;一種自定義動態(tài)密鑰預防DDoS攻擊的算法[J];微型機與應用;2013年20期

10 姜開達;李霄;孫強;;基于網(wǎng)絡流量元數(shù)據(jù)的安全大數(shù)據(jù)分析[J];信息網(wǎng)絡安全;2014年05期

中國碩士學位論文全文數(shù)據(jù)庫 前8條

1 唐湘滟;網(wǎng)絡安全態(tài)勢評估系統(tǒng)的研究與實現(xiàn)[D];湖南農(nóng)業(yè)大學;2011年

2 文政;基于混沌—支持向量機理論的網(wǎng)絡流量預測[D];鄭州大學;2012年

3 孫志磊;網(wǎng)絡攻擊源追蹤技術研究[D];浙江工業(yè)大學;2012年

4 黃宸;Web服務DDoS攻擊的防御技術研究[D];北京郵電大學;2013年

5 李秀龍;基于網(wǎng)絡流量監(jiān)測與預測的用戶流量行為分析方法研究[D];北京工業(yè)大學;2013年

6 高瞻;基于NetFlow技術的網(wǎng)絡流量測量與分析[D];廣西大學;2012年

7 陳榮茂;復雜網(wǎng)絡威脅建模與檢測技術研究[D];國防科學技術大學;2013年

8 詹煜;基于行為自相似分析的DDoS攻擊檢測與追蹤[D];中南大學;2014年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 馮為華;舒如天;;基于校園網(wǎng)的分布式管理信息系統(tǒng)的研究[J];江西師范大學學報(自然科學版);2009年04期

2 謝鳳成;;下一代遠程網(wǎng)絡配置管理系統(tǒng)的研究與實現(xiàn)[J];江西師范大學學報(自然科學版);2010年03期

3 葉繼華;馬麗紅;羅賢海;;基于電力線載波的遠程教育系統(tǒng)構建與應用[J];中國遠程教育;2006年04期

4 李金明;王汝傳;;基于VTP方法的DDoS攻擊實時檢測技術研究[J];電子學報;2007年04期

5 王洪波;程時端;林宇;;高速網(wǎng)絡超連接主機檢測中的流抽樣算法研究[J];電子學報;2008年04期

6 程光;龔儉;丁偉;吳樺;強士卿;;基于自適應抽樣的超點檢測算法[J];中國科學(E輯:信息科學);2008年10期

7 ;Identifying heavy hitters in high-speed network monitoring[J];Science China(Information Sciences);2010年03期

8 何海濤,羅笑南,郭清順;Netflow在邊界網(wǎng)流量測量中的應用研究[J];計算機工程與應用;2004年11期

9 張學工;關于統(tǒng)計學習理論與支持向量機[J];自動化學報;2000年01期

10 程光,龔儉,丁偉;基于抽樣測量的高速網(wǎng)絡實時異常檢測模型[J];軟件學報;2003年03期

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王宇清;;一個網(wǎng)絡流量分析器的設計與實現(xiàn)[J];計算機與信息技術;2005年03期

2 閆軍;;網(wǎng)絡流量分析解決方案[J];華南金融電腦;2007年03期

3 房亞群;;網(wǎng)絡流量分析現(xiàn)狀[J];硅谷;2009年23期

4 王宇;;網(wǎng)絡流量分析技術及其應用[J];科技創(chuàng)業(yè)月刊;2010年03期

5 關天柱;;網(wǎng)絡流量分析系統(tǒng)的設計與實現(xiàn)[J];信息與電腦(理論版);2010年08期

6 師鳴若;;基于鄰接序列模式挖掘的網(wǎng)絡流量分析[J];電腦開發(fā)與應用;2010年10期

7 金紅;李姝寧;云潔;;基于多變的網(wǎng)絡環(huán)境的網(wǎng)絡流量分析[J];內蒙古科技與經(jīng)濟;2011年16期

8 曹平;;基于數(shù)據(jù)挖掘技術的網(wǎng)絡流量分析預測系統(tǒng)研究[J];軟件導刊;2012年05期

9 彭勛;;網(wǎng)絡流量分析預測研究[J];計算機光盤軟件與應用;2012年09期

10 江萍萍;;網(wǎng)絡流量分析系統(tǒng)的設計研究[J];科技風;2012年19期

中國重要會議論文全文數(shù)據(jù)庫 前2條

1 劉平;王健;;校園網(wǎng)網(wǎng)絡流量分析與控制[A];全國第20屆計算機技術與應用學術會議（CACIS·2009）暨全國第1屆安全關鍵技術與應用學術會議論文集（上冊）[C];2009年

2 萬里;王明生;沈志勇;林東岱;;基于序貫模式挖掘的宏觀網(wǎng)絡流量異常檢測[A];全國網(wǎng)絡與信息安全技術研討會論文集（上冊）[C];2007年

中國重要報紙全文數(shù)據(jù)庫 前5條

1 《網(wǎng)絡世界》記者 李夏艷;遠程亦可見[N];網(wǎng)絡世界;2012年

2 東軟網(wǎng)絡安全產(chǎn)品營銷中心副總經(jīng)理 李青山;流量安全不能霧里看花[N];網(wǎng)絡世界;2008年

3 路娜;新資本市場下的安全機遇[N];中國計算機報;2008年

4 《網(wǎng)絡世界》記者 鹿寧寧;用“新”打造下一代應用安全[N];網(wǎng)絡世界;2014年

5 易水;計算機專業(yè)時文選讀（934）[N];計算機世界;2004年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 高燕;網(wǎng)絡流量分析系統(tǒng)的設計和實現(xiàn)[D];四川大學;2004年

2 劉志遠;網(wǎng)絡流量分析預測系統(tǒng)的設計與實現(xiàn)[D];黑龍江大學;2011年

3 張瀟曉;網(wǎng)絡流量分析關鍵技術研究與系統(tǒng)實現(xiàn)[D];國防科學技術大學;2012年

4 閆曉艷;分布式網(wǎng)絡流量分析系統(tǒng)的研究與實現(xiàn)[D];山東大學;2014年

5 童行行;基于機器學習的網(wǎng)絡流量分析研究[D];清華大學;2005年

6 杜鑫;基于分布特征的網(wǎng)絡流量分析技術研究[D];解放軍信息工程大學;2009年

7 張婧;寬帶網(wǎng)絡流量分析和業(yè)務重組[D];北京郵電大學;2010年

8 溫源;面向網(wǎng)絡流量分析的網(wǎng)格系統(tǒng)的設計與實現(xiàn)[D];北京郵電大學;2008年

9 姜雪梅;網(wǎng)絡流量分析系統(tǒng)[D];吉林大學;2008年

10 劉鑫;網(wǎng)絡流量分析系統(tǒng)的設計與實現(xiàn)[D];天津大學;2013年

，

本文編號：1251346