本文關鍵詞：基于MapReduce的網(wǎng)絡流量分析系統(tǒng)及其性能優(yōu)化研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：在互聯(lián)網(wǎng)逐步走向大數(shù)據(jù)時代的今天,行業(yè)中的各個部分都在不斷的受到大數(shù)據(jù)的沖擊,網(wǎng)絡流量分析也不例外。隨著網(wǎng)絡帶寬的逐步提升,網(wǎng)絡流量數(shù)據(jù)也在不斷增加�，F(xiàn)有的數(shù)據(jù)量已經(jīng)遠遠超出普通服務器所能處理的范圍,而且還有繼續(xù)大幅增長的趨勢。于是,使用大數(shù)據(jù)平臺成為了勢不可擋的趨勢。Hadoop平臺作為業(yè)界廣泛接受的分析平臺,成為了最佳的解決方案。 本文圍繞Hadoop中MapReduce技術在網(wǎng)絡流量分析中的應用展開,以實際生產(chǎn)環(huán)境為背景,設計了基于Hadoop的流量分析程序。程序以MapReduce為基礎,實現(xiàn)了在大數(shù)據(jù)量情況下的數(shù)據(jù)分析,有效地將MapReduce的各項技術融入到分析程序中,使得分析程序更加高效、簡潔。 為了進一步提高分析程序的效率,本文對MapReduce作業(yè)的實現(xiàn)進行了分析。通過分析MapReduce框架的執(zhí)行流程,總結了影響MapReduce執(zhí)行效率的主要因素及其對作業(yè)運行時間的影響。同時通過實驗驗證了這些結論,證明了分析的正確性。 最后,在分析結論和網(wǎng)絡流量分析的任務特點的基礎上,本文提出并實現(xiàn)了基于MapReduce的多作業(yè)合并組件。該組件主要針對網(wǎng)絡流量分析中同一輸入數(shù)據(jù)反復使用的場景,提供了一個接口簡單的函數(shù)庫,能讓作業(yè)的編寫者在幾乎不需要修改代碼的情況下,利用原生Hadoop框架,實現(xiàn)多個作業(yè)的合并運行。合并后的作業(yè)能通過一次讀取輸入數(shù)據(jù),完成多個分析任務,從而有效地減少了數(shù)據(jù)讀取所消耗的時間,明顯地提高了分析任務的整體運行效率。同時依據(jù)實驗,通過幾個典型場景以及生產(chǎn)中使用的實際分析作業(yè),驗證了合并組件的效果,證明了這一解決方案的有效性。
【關鍵詞】：網(wǎng)絡流量分析 MapReduce效率分析 多作業(yè)合并
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP393.06
【目錄】：

• 摘要4-5
• ABSTRACT5-7
• 目錄7-9
• 第一章 緒論9-11
• 1.1 研究背景9-10
• 1.2 論文結構10-11
• 第二章 Hadoop與MapReduce框架11-14
• 2.1 MapReduce概述11-12
• 2.1.1 MapReduce計算框架11-12
• 2.2 MapReduce的應用與問題12-14
• 2.2.1 MapReduce在網(wǎng)絡流量分析中的應用12
• 2.2.2 MapReduce在網(wǎng)絡流量分析中的問題與改進12-14
• 第三章 HTTP流量關聯(lián)系統(tǒng)設計與實現(xiàn)14-29
• 3.1 系統(tǒng)概述14-17
• 3.1.1 系統(tǒng)設計14-15
• 3.1.2 流量數(shù)據(jù)15-17
• 3.2 Http流量關聯(lián)系統(tǒng)17-24
• 3.2.1 系統(tǒng)概覽17-18
• 3.2.2 關鍵算法18-23
• 3.2.3 程序邏輯23-24
• 3.3 HTTP流量分析24-29
• 3.3.1 數(shù)據(jù)集24-25
• 3.3.2 匹配結果的正確性分析25-27
• 3.3.3 數(shù)據(jù)流量與content length關系27-29
• 第四章 MapReduce執(zhí)行效率分析29-41
• 4.1 概述29
• 4.2 Map端執(zhí)行流程分析29-34
• 4.2.1 代碼分析29-31
• 4.2.2 性能分析31-34
• 4.3 Reduce端流程分析34-38
• 4.3.1 代碼分析34-37
• 4.3.2 性能分析37-38
• 4.4 作業(yè)運行測試38-41
• 4.4.1 實驗設計39
• 4.4.2 實驗結果39-41
• 第五章 MapReduce多作業(yè)合并組件的設計41-55
• 5.1 設計背景41
• 5.2 目標與設計思路41-42
• 5.3 整體架構42
• 5.4 合并組件的配置接口42-43
• 5.5 合并組件需要支持的內(nèi)部接口43-44
• 5.6 代理模塊的設計44-48
• 5.6.1 作業(yè)信息的保存與類加載44-45
• 5.6.2 Mapper代理模塊45-47
• 5.6.3 Partitioner代理模塊47
• 5.6.4 Reducer代理模塊47-48
• 5.6.5 OutputFormat代理模塊48
• 5.6.6 其他MapReduce模塊的代理模塊48
• 5.7 中間數(shù)據(jù)排序的優(yōu)化48-50
• 5.8 合并后的性能分析和測試50-55
• 5.8.1 性能分析50-51
• 5.8.2 測試集的選取51-52
• 5.8.3 實驗結果及分析52-55
• 第六章 總結與展望55-57
• 參考文獻57-59
• 致謝59-61
• 攻讀學位期間發(fā)表的學術論文目錄61

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉靜;李躍輝;楊苗苗;許靜;;基于MapReduce的電信客戶流失決策樹算法研究[J];電腦知識與技術;2013年30期

2 蔣波濤;王艷東;;基于MapReduce的地圖代數(shù)并行計算方法[J];測繪地理信息;2014年03期

3 姜凱強;馮霄月;;在數(shù)據(jù)挖掘中一種基于Mapreduce模型的Apriori算法研究[J];計算機光盤軟件與應用;2014年14期

4 李帆;何洪林;任小麗;張黎;路倩倩;于貴瑞;;基于MapReduce的空間敏感性分析并行算法設計[J];地球信息科學學報;2014年06期

5 丁智;林治;;MapReduce編程模型、方法及應用綜述[J];電腦知識與技術;2014年30期

6 楊勇;朱影;;一種基于MapReduce的粗糙集并行屬性約簡算法[J];重慶郵電大學學報(自然科學版);2015年01期

7 唐夢夢;吉根林;趙斌;;利用MapReduce的異常軌跡檢測并行算法[J];地球信息科學學報;2015年05期

8 范敏;徐勝才;;基于云計算的醫(yī)學圖像檢索系統(tǒng)[J];計算機工程與應用;2013年21期

9 王振;王雷;王宇;;基于虛擬磁盤塊存儲的分布式文件系統(tǒng)研究[J];華中科技大學學報(自然科學版);2013年S2期

10 范敏;徐勝才;;基于Hadoop的海量醫(yī)學圖像檢索系統(tǒng)[J];計算機應用;2013年12期

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 劉燦由;電子海圖云服務關鍵技術研究與實踐[D];解放軍信息工程大學;2013年

2 劉婷婷;面向云計算的數(shù)據(jù)安全保護關鍵技術研究[D];解放軍信息工程大學;2013年

3 丁澤柳;一體化信息基礎設施中面向MapReduce的遞歸層次結構數(shù)據(jù)中心網(wǎng)絡研究[D];國防科學技術大學;2012年

4 狄浩;虛擬網(wǎng)絡的高效和可靠映射算法研究[D];電子科技大學;2013年

5 馬馮;數(shù)據(jù)密集型計算環(huán)境下貝葉斯網(wǎng)的學習、推理及應用[D];云南大學;2013年

6 李剛;黑龍江省國土資源信息數(shù)據(jù)高效利用與服務研究[D];東北農(nóng)業(yè)大學;2013年

7 劉銳;基于人臉圖像稠密匹配的身份識別技術研究[D];中國科學技術大學;2014年

8 耿玉水;面向集團企業(yè)的數(shù)據(jù)集成模型構建方法研究[D];天津大學;2013年

9 韓泉葉;城市軌道交通線網(wǎng)應急安全保障關鍵技術研究[D];蘭州交通大學;2014年

10 顧濤;集群MapReduce環(huán)境中任務和作業(yè)調(diào)度若干關鍵問題的研究[D];南開大學;2014年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 廖福蓉;基于任務備份的云計算任務調(diào)度算法研究[D];重慶大學;2013年

2 馮黎明;云環(huán)境下無線傳感器網(wǎng)絡服務研究[D];南京師范大學;2013年

3 但光祥;云計算環(huán)境下混合加密算法研究與實現(xiàn)[D];重慶大學;2013年

4 賈玉輝;面向語音交互的云計算系統(tǒng)的研究[D];中國海洋大學;2013年

5 范晨熙;基于Hadoop的搜索引擎的研究與應用[D];浙江理工大學;2013年

6 趙志龍;Hadoop容錯能力測試平臺的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2013年

7 李憲英;面向BIRIS-Cloud的資源管理框架的研究與實現(xiàn)[D];哈爾濱工業(yè)大學;2013年

8 章偉星;基于Hadoop的海量廣告日志分析系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2013年

9 徐淑琦;基于MapReduce的高性能云計算任務調(diào)度技術的研究[D];北京工業(yè)大學;2013年

10 蘇濤;Platform MapReduce的GUI的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2012年

  本文關鍵詞：基于MapReduce的網(wǎng)絡流量分析系統(tǒng)及其性能優(yōu)化研究，由筆耕文化傳播整理發(fā)布。

本文編號：350104