【摘要】：web數(shù)據(jù)含有用戶網(wǎng)絡(luò)訪問模式的豐富信息,挖掘web數(shù)據(jù)對于用戶的網(wǎng)絡(luò)行為分析具有重大意義。本文研究的web數(shù)據(jù)來源于兩部分,一是國內(nèi)某運營商提供的基于DPI包檢測技術(shù)獲得的網(wǎng)絡(luò)流數(shù)據(jù),主要是用戶web日志數(shù)據(jù);二是利用網(wǎng)絡(luò)爬蟲程序抓取的網(wǎng)頁數(shù)據(jù)�；谶@兩種web數(shù)據(jù),分析了電商和汽車網(wǎng)站用戶的網(wǎng)絡(luò)行為。(1)電商行業(yè)的用戶網(wǎng)絡(luò)行為分析。主要以京東、天貓、國美、蘇寧這四個電商網(wǎng)站的用戶為研究對象,利用MapReduce基本統(tǒng)計分析方法,分析這四個電商網(wǎng)站的用戶對具體商品的訪問行為,主要包括對商品的瀏覽、搜索和加購物車等行為。采用BulkLoad工具將電商用戶行為數(shù)據(jù)批量導(dǎo)入HBase表中,解決了數(shù)據(jù)逐條導(dǎo)入而頻繁IO、GC操作造成的系統(tǒng)響應(yīng)變慢、節(jié)點超時退出等問題,增加了集群系統(tǒng)的穩(wěn)定性、提高了數(shù)據(jù)入庫效率。最后通過編寫HBase數(shù)據(jù)查詢接口,對電商用戶的行為數(shù)據(jù)進行定制化查詢,即可根據(jù)指定條件對用戶行為集中查詢和分析。(2)分析汽車行業(yè)的用戶網(wǎng)絡(luò)行為。主要以長安福特汽車品牌下的銳界車系為研究樣例,使用AprioriAll序列模式挖掘算法得到用戶訪問汽車網(wǎng)站的頻繁序列集,分析對銳界車系感興趣的用戶傾向在哪些汽車網(wǎng)站(排名靠前的15個汽車網(wǎng)站)上獲取銳界相關(guān)信息,以及對這些網(wǎng)站的訪問先后次序又是怎樣的;再利用MapReduce統(tǒng)計特性和RESTful API技術(shù)對用戶的站點訪問情況以及興趣標(biāo)簽等信息進行可視化分析。其中,用到正則表達式提取汽車用戶數(shù)據(jù),通過RegexBuddy工具調(diào)試和優(yōu)化正則表達式,并結(jié)合數(shù)據(jù)的Hash存儲特性,使得數(shù)據(jù)提取程序的時間復(fù)雜度由O(N)降為O(1),提高了程序運行效率。本文的研究結(jié)果在一定意義上,能夠給特定商品和特定汽車的網(wǎng)絡(luò)經(jīng)銷商或者廣告商在用戶群體定位、廣告精準(zhǔn)投放或交叉推送等方面提供參考意見。
[Abstract]:Web data contains abundant information of user's network access pattern. Mining web data is of great significance to user's network behavior analysis. The web data in this paper come from two parts, one is the network stream data based on DPI packet detection technology provided by a domestic operator, mainly the user web log data, and the other is the web page data captured by the web crawler program. Based on these two kinds of web data, the network behavior of the users of e-commerce and automotive websites is analyzed. (1) the network behavior of users in e-commerce industry is analyzed. Mainly taking the users of four ecommerce websites JingDong, Tmall, Gome and Su Ning as research objects, and using the basic statistical analysis method of MapReduce, to analyze the visit behavior of the users of these four ecommerce websites to specific commodities, mainly including the browsing of commodities. Search and shopping cart, etc. The BulkLoad tool is used to import the user behavior data into the HBase table in batches, which solves the problems such as the slow response caused by the frequent IO,GC operation and the node time-out, which increases the stability of the cluster system. The efficiency of data storage is improved. Finally, through compiling HBase data query interface, the behavior data of e-commerce users can be customized queried and analyzed according to the specified conditions. (2) analyzing the behavior of users in automobile industry. Taking the sharp boundary vehicle system under the Changan Ford brand as the research example, the frequent sequence set of users visiting the automobile website is obtained by using AprioriAll sequence pattern mining algorithm. Analyze which automobile websites (the top 15 auto websites) that interested users tend to obtain relevant information, and what is the order of visits to these websites; Then, the user's site access and interest tags are analyzed visually by using MapReduce statistics and RESTful API technology. Among them, the regular expression is used to extract the automobile user data, the regular expression is debugged and optimized by RegexBuddy tool, and combined with the Hash storage characteristic of the data, the time complexity of the data extraction program is reduced from O (N) to O (1), and the running efficiency of the program is improved. To a certain extent, the results of this paper can provide reference to the network dealers or advertisers of specific commodities and vehicles in terms of user group positioning, accurate advertising delivery or cross-push, and so on.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP311.13;TP393.09

【相似文獻】

相關(guān)期刊論文 前10條

1 肖凱;;用戶網(wǎng)絡(luò)簡化發(fā)展的構(gòu)想與實現(xiàn)[J];數(shù)字通信世界;2008年03期

2 唐玉麟,王雄;光纖用戶網(wǎng)絡(luò)發(fā)展評述[J];光通信技術(shù);1991年Z1期

3 秦賓;個人用戶網(wǎng)絡(luò)的安全隱患與防范[J];現(xiàn)代通信;2001年09期

4 王景欣;袁堅;耿軍偉;馮振明;;移動互聯(lián)網(wǎng)基于用戶網(wǎng)絡(luò)結(jié)構(gòu)的信息過濾機制[J];計算機科學(xué);2011年S1期

5 胡剛,曹曉敏,沈雁;用戶網(wǎng)絡(luò)行為習(xí)慣模型[J];指揮技術(shù)學(xué)院學(xué)報;2000年03期

6 周德仿;用戶網(wǎng)絡(luò)行為與個性化服務(wù)研究[J];電機電器技術(shù);2004年02期

7 楊振;;實達——滄海服務(wù)器[J];電子測試;2001年02期

8 劉國剛;由單用戶版上升為多用戶網(wǎng)絡(luò)版應(yīng)解決的幾個主要問題[J];電子技術(shù)應(yīng)用;1997年05期

9 姜永;胡博;陳山枝;;異構(gòu)無線網(wǎng)絡(luò)用戶網(wǎng)絡(luò)關(guān)聯(lián)優(yōu)化:一種基于群體博弈的方法[J];計算機學(xué)報;2012年06期

10 陳曉玲;;關(guān)于提升寬帶用戶網(wǎng)絡(luò)質(zhì)量滿意度的策略探析[J];電子技術(shù)與軟件工程;2013年21期

相關(guān)會議論文 前10條

1 劉正濤;毛宇光;應(yīng)毅;;基于Web服務(wù)的分布式Web應(yīng)用框架研究[A];第一屆全國Web信息系統(tǒng)及其應(yīng)用會議（WISA2004）論文集[C];2004年

2 戴琦;;Web上的數(shù)據(jù)挖掘[A];全國計算機網(wǎng)絡(luò)應(yīng)用年會論文集（2001）[C];2001年

3 王衛(wèi);;基于Web的數(shù)據(jù)庫應(yīng)用[A];第十八屆中國（天津）’2004IT、網(wǎng)絡(luò)、信息技術(shù)、電子、儀器儀表創(chuàng)新學(xué)術(shù)會議論文集[C];2004年

4 張默;廖湖聲;杜金蓮;;基于Web服務(wù)的開放式地理信息系統(tǒng)的研究[A];2006年全國開放式分布與并行計算機學(xué)術(shù)會議論文集（三）[C];2006年

5 鄭菊艷;續(xù)愛民;;基于WEB模式的科研項目管理系統(tǒng)的設(shè)計與實現(xiàn)[A];第十四屆中國科協(xié)年會第5分會場：綠色船舶與海洋裝備創(chuàng)新發(fā)展及產(chǎn)業(yè)化論壇論文集[C];2012年

6 鄭菊艷;續(xù)愛民;;基于WEB模式的科研項目管理系統(tǒng)的設(shè)計與實現(xiàn)[A];2012年MIS/S&A學(xué)術(shù)交流會議論文集[C];2012年

7 李勤;;基于WEB的計算機模擬病例考試系統(tǒng)在全科醫(yī)師培訓(xùn)實踐能力測試中應(yīng)用研究[A];2012年浙江省全科醫(yī)學(xué)學(xué)術(shù)年會論文匯編[C];2012年

8 黃海林;孫向陽;;基于Web的大學(xué)物理試題管理系統(tǒng)的設(shè)計[A];湖北省物理學(xué)會、武漢物理學(xué)會成立70周年慶典暨2002年學(xué)術(shù)年會論文集[C];2002年

9 于莉莉;張毅;;基于Web的人力資源管理系統(tǒng)研究與設(shè)計[A];2008全國制造業(yè)信息化標(biāo)準(zhǔn)化論壇論文集[C];2008年

10 李中華;;企業(yè)Web應(yīng)用安全威脅與防護[A];創(chuàng)新·融合·發(fā)展——創(chuàng)新型煤炭企業(yè)發(fā)展與信息化高峰論壇論文集[C];2010年

相關(guān)重要報紙文章 前10條

1 本報記者 劉繼安;準(zhǔn)備好了嗎？WEB教師[N];中國教育報;2001年

2 張承東;Web智能考核廣告[N];網(wǎng)絡(luò)世界;2009年

3 本報記者 張楠;中國用戶網(wǎng)絡(luò)防護措施依舊不夠[N];中國計算機報;2012年

4 科訊;WEB教師——一個全新職業(yè)的透析[N];科技日報;2001年

5 王雅麗;博客社區(qū)齊上陣 銀行借Web 2.0拉攏未來客戶[N];中國計算機報;2008年

6 本報記者 黃智軍;Web應(yīng)用呼喚新型安全系統(tǒng)[N];計算機世界;2009年

7 李鵬;不只要求速度[N];中國計算機報;2004年

8 居易;WEB教師熱門起來[N];組織人事報;2001年

9 本報記者 趙曉濤;四問“Web防御與云安全”[N];網(wǎng)絡(luò)世界;2008年

10 本報記者 徐恒;手機瀏覽器：競爭不斷加劇 Web大勢所趨[N];中國電子報;2009年

相關(guān)博士學(xué)位論文 前10條

1 李世黨;面向B4G/5G無線網(wǎng)絡(luò)的干擾對齊與干擾管理技術(shù)研究[D];東南大學(xué);2016年

2 萬志遠(yuǎn);Web應(yīng)用程序漏洞檢測關(guān)鍵技術(shù)研究[D];浙江大學(xué);2014年

3 黃治虎;基于網(wǎng)頁信息和圖像特征的Web圖像檢索研究[D];重慶大學(xué);2015年

4 張璞;Web評論文本情感分類方法研究[D];重慶大學(xué);2015年

5 劉維東;Web短文本知識關(guān)聯(lián)模型及其語義連貫計算方法[D];上海大學(xué);2016年

6 孫慧峰;基于協(xié)同過濾的個性化Web推薦[D];北京郵電大學(xué);2012年

7 何儒漢;Web圖像的多模融合檢索研究[D];華中科技大學(xué);2007年

8 張建武;面向Web應(yīng)用的安全評測技術(shù)研究[D];北京郵電大學(xué);2012年

9 龍慧云;基于進程代數(shù)的Web服務(wù)數(shù)據(jù)和組合的形式化方法研究[D];貴州大學(xué);2009年

10 孫濤;面向市場情報分析的Web實體事件融合問題研究[D];山東大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 彭員英;基于web數(shù)據(jù)的特定行業(yè)用戶網(wǎng)絡(luò)行為分析[D];北京郵電大學(xué);2017年

2 王曉月;基于WiFi用戶網(wǎng)絡(luò)行為的信息推送系統(tǒng)設(shè)計[D];大連海事大學(xué);2015年

3 陶源;基于覓食理論的學(xué)術(shù)用戶網(wǎng)絡(luò)信息查尋策略研究[D];西南大學(xué);2014年

4 解索非;基于復(fù)雜網(wǎng)絡(luò)理論的微信用戶網(wǎng)絡(luò)特性研究[D];重慶大學(xué);2016年

5 趙思;公交車載WiFi用戶網(wǎng)絡(luò)行為分析[D];華中科技大學(xué);2016年

6 馬麗嬌;用戶網(wǎng)絡(luò)行為分析系統(tǒng)的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2014年

7 王一凡;協(xié)作多用戶網(wǎng)絡(luò)的傳輸方案設(shè)計和優(yōu)化[D];北京郵電大學(xué);2017年

8 胡靜;基于3G核心網(wǎng)數(shù)據(jù)的用戶網(wǎng)絡(luò)行為識別技術(shù)研究[D];電子科技大學(xué);2017年

9 李林蓉;基于Restful和OSGI的Web應(yīng)用轉(zhuǎn)換容器的研究與實現(xiàn)[D];華南理工大學(xué);2015年

10 陳彬彬;基于QoS隨機性的Web服務(wù)質(zhì)量偏離監(jiān)測方法研究與實現(xiàn)[D];昆明理工大學(xué);2015年

，

本文編號：2204088