本文選題：HTTP協(xié)議 + 數(shù)據(jù)分析��； 參考：《哈爾濱工業(yè)大學》2016年碩士論文

【摘要】：隨著經濟社會的發(fā)展,網絡深刻地改變和影響著人們各方面的生活習慣,包括社交、電子商務、閱讀、知識學習等�？萍歼M步也導致了網絡終端接入設備的增加,個人用戶能夠更加容易接觸網絡。互聯(lián)網新經濟的崛起,導致人們的網絡活動完全是現(xiàn)實生活的縮影。網絡上的信息量呈現(xiàn)爆炸式增長,在此背景下,通過收集網絡流量日志,分析某一個IP地址下的網絡狀況,從而刻畫用戶畫像,以了解各個IP地址的信息以及其下可能存在的用戶數(shù)據(jù)。本系統(tǒng)提出基于HTTP協(xié)議數(shù)據(jù)的分析系統(tǒng),從HTTP協(xié)議的流量信息、報文信息、正文信息三個方面分析當前的網絡狀況,描述了從IP地址到終端設備再到用戶個人的網絡模型。統(tǒng)計了HTTP協(xié)議中的IP流量信息,設計了應用于IP地址依據(jù)應用服務劃分的樸素貝葉斯分類模型,在IP地址層面描繪了網絡狀況。參考了HTTP協(xié)議中User_Agent字段的變動歷史,提出了從User_Agent字段中提取瀏覽器信息、設備名稱和操作系統(tǒng)的方法,實現(xiàn)了終端設備層面的分析。對于用戶層面,解析了HTTP協(xié)議正文,包括JSON格式和HTML格式的數(shù)據(jù),提取了B/S架構的軟件和用戶交互時包含的個人數(shù)據(jù),設計了基于HTML格式數(shù)據(jù)的知識學習方法以擴充提取數(shù)據(jù)所依賴的知識庫信息。在數(shù)據(jù)分析的基礎上,設計了信息展示平臺,以Web的形式提供服務,通過jQuery和Bootstrap等前端框架,實現(xiàn)了簡潔易用友好的界面,采用Tomcat服務器,Mysql作為數(shù)據(jù)庫,使用MyISAM存儲引擎提高讀寫效率。最后,本文設計了對該系統(tǒng)進行功能測試和性能測試的方法,在測試階段進行了程序調優(yōu),基本滿足了工業(yè)和警用的要求,整個系統(tǒng)可投入實際使用運行。
[Abstract]:With the development of economy and society, the network profoundly changes and influences people's life habits, including social, electronic commerce, reading, knowledge learning and so on.Advances in technology have also led to an increase in network terminal access devices, making it easier for individual users to access the network.The rise of the new economy of the Internet leads to people's network activities as a microcosm of real life.The amount of information on the network is increasing explosively. In this context, by collecting the network traffic log, analyzing the network condition under a certain IP address, we can depict the portrait of the user.To understand the information of each IP address and the user data that may exist under it.This system proposes an analysis system based on HTTP protocol data, analyzes the current network status from three aspects of HTTP protocol traffic information, message information and text information, and describes the network model from IP address to terminal equipment to user.The IP traffic information in HTTP protocol is analyzed and a naive Bayesian classification model for IP address partitioning based on application services is designed. The network condition is described at the IP address level.Referring to the changing history of User_Agent field in HTTP protocol, the method of extracting browser information, device name and operating system from User_Agent field is put forward, and the analysis of terminal device level is realized.For the user level, the text of HTTP protocol is analyzed, including the data of JSON format and HTML format, and the software of B / S architecture and the personal data of user interaction are extracted.A knowledge learning method based on HTML format data is designed to expand the knowledge base on which the data is extracted.On the basis of data analysis, the information display platform is designed to provide service in the form of Web. Through the front-end framework such as jQuery and Bootstrap, a simple and user-friendly interface is realized. Tomcat server MySQL is used as the database.Use MyISAM storage engine to improve read and write efficiency.Finally, this paper designs the method of function test and performance test for the system, and optimizes the program in the test stage, which basically meets the requirements of industry and police, and the whole system can be put into practical use.
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.52

【相似文獻】

相關期刊論文 前10條

1 李磊;;黑龍江郵政數(shù)據(jù)分析系統(tǒng)研究[J];林業(yè)科技情報;2011年04期

2 陳起榕;陳新亮;曹世彪;;一種新的數(shù)據(jù)分析系統(tǒng)前端展示方案[J];郵電設計技術;2012年10期

3 孟慶超;李永亮;;智能數(shù)據(jù)分析系統(tǒng)研究[J];現(xiàn)代商貿工業(yè);2008年11期

4 郭靜;;鋼鐵企業(yè)能源數(shù)據(jù)分析系統(tǒng)的構建[J];昆明理工大學學報(理工版);2009年05期

5 哈文雷;;基于云計算的油田數(shù)據(jù)分析系統(tǒng)[J];中國新技術新產品;2013年17期

6 黃麗麗;陳華輝;;博客數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[J];寧波大學學報(理工版);2008年03期

7 田月潔;焦波;謝金洲;;中藥不良反應數(shù)據(jù)分析系統(tǒng)的設計與應用[J];中國藥物警戒;2007年04期

8 毛蘭斌;;基于機電結構檢測的可靠性數(shù)據(jù)分析系統(tǒng)設計[J];中國高新技術企業(yè);2008年08期

9 毛羽芳;王銳明;;天津市工商行政管理局數(shù)據(jù)分析系統(tǒng)的建設[J];信息系統(tǒng)工程;2010年07期

10 章璐;;人民幣跨境結算業(yè)務數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[J];中國金融電腦;2013年01期

相關會議論文 前7條

1 顧紅生;;淺談汽車行業(yè)競品數(shù)據(jù)分析系統(tǒng)解決方案[A];第八屆中國汽車設計與研發(fā)高峰論壇論文集[C];2013年

2 辛建峰;辛陽;;數(shù)據(jù)分析系統(tǒng)中的自定義量度方案設計實現(xiàn)[A];2011年通信與信息技術新進展——第八屆中國通信學會學術年會論文集[C];2011年

3 尚屹;朱琦;;國家持久性有機污染物數(shù)據(jù)分析系統(tǒng)研究[A];2008中國環(huán)境科學學會學術年會優(yōu)秀論文集（下卷）[C];2008年

4 鄭慧娟;周嘉元;李斌;;水電站生產數(shù)據(jù)分析系統(tǒng)及其現(xiàn)場應用[A];中國水力發(fā)電工程學會信息化專委會2010年學術交流會論文集[C];2010年

5 張永忠;趙靜;;基于事件檢測算法的交通數(shù)據(jù)分析系統(tǒng)[A];2008全國第十三屆自動化應用技術學術交流會論文集[C];2008年

6 王治國;王薇;訾凱;任鵬;;臨床檢驗方法確認與性能驗證數(shù)據(jù)分析系統(tǒng)(MVS)的開發(fā)與應用[A];中華醫(yī)學會第九次全國檢驗醫(yī)學學術會議暨中國醫(yī)院協(xié)會臨床檢驗管理專業(yè)委員會第六屆全國臨床檢驗實驗室管理學術會議論文匯編[C];2011年

7 董剛;孫建林;譚耘宇;;建立梅鋼熱軋數(shù)據(jù)分析系統(tǒng)[A];自動化技術與冶金流程節(jié)能減排——全國冶金自動化信息網2008年會論文集[C];2008年

相關重要報紙文章 前8條

1 記者 劉慧敏;開發(fā)區(qū)一企業(yè)研發(fā)成功“消費行為數(shù)據(jù)分析系統(tǒng)”[N];寧波日報;2009年

2 別志銘;基于云的大數(shù)據(jù)分析系統(tǒng)[N];網絡世界;2013年

3 袁毅;蘇州：數(shù)據(jù)分析系統(tǒng)精準問診城市交通[N];人民公安報·交通安全周刊;2011年

4 紹興職業(yè)技術學院 沈華峰 寧波大學信息科學與工程學院 朱雙東;基于可縮放矢量圖形數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[N];中國計算機報;2010年

5 記者 董科;轉型客戶服務 打造全新競爭力[N];期貨日報;2010年

6 江蘇省淮安市漣水地稅局 周躍 黃呂勝 童政;應完善稅收數(shù)據(jù)分析系統(tǒng)提升使用效能[N];中國稅務報;2013年

7 陶利軍;路橋當好企業(yè)經濟分析師[N];中國工商報;2007年

8 本報記者 鞏國強;汛潮的“賣點”[N];山西經濟日報;2004年

相關碩士學位論文 前10條

1 夷臻;學生事務數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[D];蘇州大學;2015年

2 李永秋;智能化體檢數(shù)據(jù)分析系統(tǒng)設計與實現(xiàn)[D];山東大學;2014年

3 翟羽佳;萊蕪供電公司經營數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[D];山東大學;2015年

4 張磊磊;高考錄取數(shù)據(jù)分析系統(tǒng)前端界面模塊的設計與實現(xiàn)[D];山東大學;2015年

5 韓繼軍;金卡科技公司業(yè)務數(shù)據(jù)分析系統(tǒng)設計與實現(xiàn)[D];大連理工大學;2015年

6 張志祥;某數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[D];北京郵電大學;2015年

7 龍少杭;基于Storm的實時大數(shù)據(jù)分析系統(tǒng)的研究與實現(xiàn)[D];上海交通大學;2015年

8 余夢然;面向商務智能的公共交通數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[D];西安電子科技大學;2014年

9 張鵬宇;中國聯(lián)通ERP用戶感知業(yè)務監(jiān)控數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[D];華南理工大學;2015年

10 廖寧平;石化企業(yè)數(shù)據(jù)分析系統(tǒng)的開發(fā)及運營管理中的應用[D];浙江工業(yè)大學;2014年

，

本文編號：1738079