本文關(guān)鍵詞：移動(dòng)互聯(lián)網(wǎng)HTTP采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 移動(dòng)互聯(lián)網(wǎng) HTTP采集系統(tǒng) 插件式報(bào)文解析系統(tǒng) HTTP業(yè)務(wù)組件 匹配率

【摘要】：當(dāng)今世界,移動(dòng)互聯(lián)網(wǎng)對(duì)人們生活的影響日益加強(qiáng),使用各種移動(dòng)終端訪問互聯(lián)網(wǎng)已經(jīng)成為一種趨勢(shì),同時(shí)也帶來了海量的移動(dòng)互聯(lián)網(wǎng)流量。在近些年,移動(dòng)互聯(lián)網(wǎng)一直在改變?nèi)藗兊纳盍?xí)慣。通過網(wǎng)絡(luò)數(shù)據(jù),人們可以很方便地使用很多互聯(lián)網(wǎng)服務(wù),如社交服務(wù)、移動(dòng)廣告和電子商務(wù)等等。而實(shí)際上這些網(wǎng)絡(luò)流量大部分都是由HTTP協(xié)議承載的,因此有必要對(duì)移動(dòng)互聯(lián)網(wǎng)流量,特別是HTTP流量進(jìn)行分析,以便更加清晰地了解網(wǎng)絡(luò)運(yùn)行情況和用戶行為習(xí)慣,進(jìn)而及時(shí)優(yōu)化網(wǎng)絡(luò)以及對(duì)用戶提供有針對(duì)性的網(wǎng)絡(luò)服務(wù)。 本文首先介紹了超文本傳輸協(xié)議目前的發(fā)展情況,分析了HTTP協(xié)議的報(bào)文格式和通信流程,然后提出了基于實(shí)時(shí)流量的HTTP采集系統(tǒng)。本文首先對(duì)插件式報(bào)文解析系統(tǒng)(PPP)進(jìn)行了簡單的介紹,該系統(tǒng)將每一個(gè)協(xié)議編譯成一個(gè)動(dòng)態(tài)庫進(jìn)行動(dòng)態(tài)調(diào)用,因此可以方便地實(shí)現(xiàn)協(xié)議擴(kuò)展解析。本文進(jìn)一步設(shè)計(jì)實(shí)現(xiàn)了HTTP業(yè)務(wù)組件,將HTTP報(bào)文按照五元組進(jìn)行匹配,并將匹配話單輸出到日志。同時(shí)對(duì)該系統(tǒng)進(jìn)行計(jì)數(shù)監(jiān)控,以便能夠及時(shí)地檢測出異常情況。然后對(duì)HTML報(bào)文的HEAD提取方法進(jìn)行了詳細(xì)的論述。 隨后深入地分析了采集系統(tǒng)的性能并提出了優(yōu)化方法。針對(duì)輸出的日志,利用統(tǒng)計(jì)的方法對(duì)匹配率、HTTP報(bào)文流量特征規(guī)律進(jìn)行了分析。最后,論文對(duì)移動(dòng)網(wǎng)絡(luò)HTTP流量監(jiān)控的研究成果進(jìn)行了總結(jié)和展望。
【關(guān)鍵詞】：移動(dòng)互聯(lián)網(wǎng) HTTP采集系統(tǒng) 插件式報(bào)文解析系統(tǒng) HTTP業(yè)務(wù)組件 匹配率
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TN929.5;TP393.01
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-11
• 1.1 課題背景9
• 1.2 研究意義9-10
• 1.3 論文結(jié)構(gòu)10-11
• 第二章 HTTP協(xié)議概述11-19
• 2.1 HTTP協(xié)議簡介11-12
• 2.2 HTTP的工作原理12
• 2.3 HTTP報(bào)文格式12-17
• 2.3.1 起始行13-14
• 2.3.2 首部行14-17
• 2.4 總結(jié)17-19
• 第三章 HTTP采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)19-43
• 3.1 功能概述19-21
• 3.1.1 采集系統(tǒng)整體架構(gòu)19
• 3.1.2 采集系統(tǒng)工作原理19-20
• 3.1.3 PPP簡介20
• 3.1.4 HTTPapp模塊分解20-21
• 3.2 HTTP業(yè)務(wù)組件的設(shè)計(jì)21-34
• 3.2.1 哈希表結(jié)構(gòu)設(shè)計(jì)21-23
• 3.2.2 哈希表超時(shí)設(shè)計(jì)23-27
• 3.2.3 HTTP協(xié)議解析27-29
• 3.2.4 HTTP消息匹配算法29-32
• 3.2.5 狀態(tài)收集線程32-34
• 3.3 HTML的HEAD提取方法34-40
• 3.3.1 研究意義34
• 3.3.2 HEAD提前方法設(shè)計(jì)34-36
• 3.3.3 緩存狀態(tài)機(jī)設(shè)計(jì)36-40
• 3.3.4 緩存表超時(shí)設(shè)計(jì)40
• 3.4 總結(jié)40-43
• 第四章 HTTP采集系統(tǒng)數(shù)據(jù)分析43-57
• 4.1 HTTP匹配率分析43-50
• 4.1.1 程序設(shè)計(jì)對(duì)應(yīng)答匹配率的影響44-46
• 4.1.2 與其他匹配狀態(tài)的關(guān)聯(lián)情況46-48
• 4.1.3 疑似重傳的影響48-49
• 4.1.4 不同超時(shí)閾值對(duì)應(yīng)答匹配率的影響49-50
• 4.2 報(bào)文流量特征分析50-55
• 4.2.1 首部統(tǒng)計(jì)分析50-51
• 4.2.2 HTTP會(huì)話數(shù)分析51-52
• 4.2.3 報(bào)文資源種類分布52-53
• 4.2.4 報(bào)文長度分布53-54
• 4.2.5 報(bào)文重組分析54-55
• 4.3 總結(jié)55-57
• 第五章 HTTP采集系統(tǒng)性能分析57-71
• 5.1 HTTP業(yè)務(wù)組件工作狀態(tài)機(jī)57-59
• 5.2 HTTP業(yè)務(wù)組件的測量指標(biāo)59-60
• 5.3 采集器性能測試60-69
• 5.3.1 HTTP業(yè)務(wù)組件61-67
• 5.3.2 采集器性能優(yōu)化測試67-69
• 5.4 總結(jié)69-71
• 第六章 總結(jié)與展望71-73
• 參考文獻(xiàn)73-75
• 致謝75-77
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄77

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前4條

1 周林;孫衛(wèi)強(qiáng);胡衛(wèi)生;;TCP短流對(duì)擁塞點(diǎn)隊(duì)列深度影響的分析[J];廣西大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年06期

2 石磊;陳文遠(yuǎn);陶永才;衛(wèi)琳;;自適應(yīng)累加型失效檢測模型研究[J];計(jì)算機(jī)應(yīng)用;2012年03期

3 朱麗軍;楊鳴;劉高平;;HTTP協(xié)議的剖析及其在嵌入式監(jiān)視系統(tǒng)中的應(yīng)用[J];寧波大學(xué)學(xué)報(bào)(理工版);2008年02期

4 段文佳;劉曉潔;;一種自適應(yīng)失效檢測算法的研究與應(yīng)用[J];計(jì)算機(jī)工程;2014年03期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前9條

1 楊鑫;基于網(wǎng)絡(luò)處理器的Web用戶體驗(yàn)測量研究[D];上海交通大學(xué);2011年

2 李強(qiáng);基于嵌入式Web的無線家居系統(tǒng)設(shè)計(jì)[D];武漢理工大學(xué);2009年

3 張泳;軟件系統(tǒng)的遠(yuǎn)程故障診斷與維護(hù)技術(shù)研究[D];南京航空航天大學(xué);2009年

4 張帆;大壩安全遠(yuǎn)程監(jiān)控系統(tǒng)嵌入式Web服務(wù)器的設(shè)計(jì)與開發(fā)[D];湖南大學(xué);2010年

5 陳文遠(yuǎn);累加型失效檢測模型研究[D];鄭州大學(xué);2012年

6 姜偉;基于.net的手機(jī)視頻監(jiān)控系統(tǒng)的研究與設(shè)計(jì)[D];中國海洋大學(xué);2011年

7 張龍濤;一種基于QoS的自適應(yīng)失效檢測算法研究[D];鄭州大學(xué);2013年

8 彭婕;基于TCP流的路由器緩存優(yōu)化設(shè)置方法研究[D];電子科技大學(xué);2013年

9 張愛娟;基于Linux的嵌入式瀏覽器的設(shè)計(jì)與實(shí)現(xiàn)[D];福州大學(xué);2010年

，

本文編號(hào)：630173