隨著信息智能化技術(shù)的普及,企業(yè)網(wǎng)站由傳統(tǒng)的企業(yè)宣傳逐漸集成了電子商務(wù)、企業(yè)管理等功能,已成為重要的生產(chǎn)工具。企業(yè)網(wǎng)站在內(nèi)容管理方面,采用大數(shù)據(jù)技術(shù)發(fā)現(xiàn)新的商業(yè)模式和用戶畫像,為企業(yè)帶來了豐厚的利潤;相對(duì)于網(wǎng)站內(nèi)容管理,日志管理相對(duì)滯后,當(dāng)前通常借助全文檢索工具或者人工檢索的方式進(jìn)行管理,存在以下缺點(diǎn):一是解析不全面無法及時(shí)反饋動(dòng)態(tài)信息;二是日志解析偏向于網(wǎng)站故障定位,網(wǎng)站優(yōu)化和信息安全數(shù)據(jù)解析薄弱;三是無法應(yīng)對(duì)海量日志及時(shí)解析和結(jié)果實(shí)時(shí)查詢;四是可視化模塊個(gè)性化和二次開發(fā)困難。針對(duì)當(dāng)前日志管理存在的問題,本文設(shè)計(jì)和開發(fā)基于Hadoop平臺(tái)的網(wǎng)站日志解析系統(tǒng),其中Hadoop平臺(tái)提供了 PB數(shù)量級(jí)日志數(shù)據(jù)的離線計(jì)算和實(shí)時(shí)查詢能力;應(yīng)用系統(tǒng)采用主流JavaEE平臺(tái)進(jìn)行設(shè)計(jì)開發(fā),擴(kuò)展和維護(hù)更加容易;同時(shí)提供了基于HTML5的Web應(yīng)用功能,方便解析日志和對(duì)結(jié)果進(jìn)行分析計(jì)算;在數(shù)據(jù)呈現(xiàn)方面,采用HTML5的Canvas繪圖技術(shù),為解析結(jié)果提供了靈活的個(gè)性化定制和二次開發(fā)解決方案。該系統(tǒng)能夠全面解析網(wǎng)站日志,提供更多維度的參考信息,為企業(yè)網(wǎng)站的優(yōu)化、信息安全以及網(wǎng)站維護(hù)提供完整的參考數(shù)據(jù)。本文主... 

【文章來源】：廈門大學(xué)福建省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：103 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－２?ＭａｐＲｅｄｕｃｅ與ＨＢａｓｅ集成架構(gòu)圖??

４）系統(tǒng)管理員??管理員登陸系統(tǒng)進(jìn)入系統(tǒng)后臺(tái)，可以查看用戶信息列表，對(duì)用戶是否允許登??陸系統(tǒng)上傳網(wǎng)站日志文件進(jìn)行授權(quán)。用例圖如圖３－６所示。??圖３－６系統(tǒng)管理員用例圖??３．２．２功能需求分析??網(wǎng)站日志解析系統(tǒng)應(yīng)用程序由后臺(tái)和前臺(tái)構(gòu)成。前臺(tái)向游客和注冊(cè)用戶提供??登陸、注冊(cè)、日志文件上傳、日志文件解析、生成可視化數(shù)據(jù)圖表等系統(tǒng)服務(wù)；??后臺(tái)向管理員提供用戶啟用、禁用、密碼重置等管理服務(wù)。系統(tǒng)功能模塊如圖??３－７所示。??……＂—？？？１??網(wǎng)站日志解析系統(tǒng)??ｒ?１??夢(mèng)?后??°?！臺(tái)??功?丨功??能?丨能??１??Ｔ?Ｔ?Ｔ?＿ｉｒ?４＊?ｖ?ｉｒ?”??＇％

分布式計(jì)算和分布式存儲(chǔ)的規(guī)模較小，因此把Ｈａｄｏｏｐ和ＨＢａｓｅ的主節(jié)點(diǎn)也配置??在同一臺(tái)主機(jī)上。此外，Ｈａｄｏｏｐ集群一共需要最少三臺(tái)主機(jī)，因此還需要配置??兩臺(tái)主機(jī)作為Ｈａｄｏｏｐ集群的從節(jié)點(diǎn)。系統(tǒng)的架構(gòu)如圖３－８所示。??０?ｎ?Ｄ?＇??－４—?ｒ—Ｊ?請(qǐng)求?？?Ｍ?Ｈａｄｏｏｐ集群從節(jié)點(diǎn)＾??／＿?／?，?？?ＨＢａｓｅ集群從節(jié)點(diǎn)ｊ??Ａ?客戶端瀏覽器?￣ｙ?＼?＾￣｜?／??／?＼?應(yīng)用服務(wù)器?、＼?ｍ??／?＼?數(shù)據(jù)庫服務(wù)器?＇圍，??Ｈａｄｏｏｐ集群主節(jié)點(diǎn)??脫集群主節(jié)點(diǎn)批〇〇（＾從節(jié)點(diǎn)??ＨＢａｓｅ集群從節(jié)點(diǎn)??圖３－８網(wǎng)站日志解析系統(tǒng)架構(gòu)圖??由于應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、Ｈａｄｏｏｐ集群主節(jié)點(diǎn)、ＨＢａｓｅ集群主節(jié)點(diǎn)??是在同一臺(tái)服務(wù)器上實(shí)現(xiàn)，因此在實(shí)際項(xiàng)目的集群配置中，采用高配置的服務(wù)器??作為主節(jié)點(diǎn)。??ＭＶＣ的全稱是Ｍｏｄｅｌ?Ｖｉｅｗ?Ｃｏｎｔｒｏｌｌｅｒ，是Ｗｅｂ應(yīng)用程序的典型設(shè)計(jì)模式，??ＭＶＣ的思想是將模型、視圖、控制器的代碼分開來組織，最大的優(yōu)點(diǎn)是在調(diào)整??２６??


本文編號(hào)：3002362