隨著網(wǎng)絡(luò)的快速普及,使用搜索引擎的用戶規(guī)模正在逐漸增加,產(chǎn)生的日志信息呈現(xiàn)爆炸性的增長(zhǎng),海量搜索日志所帶來的價(jià)值,引起了各個(gè)搜索類互聯(lián)網(wǎng)企業(yè)的廣泛關(guān)注。為了在未來的市場(chǎng)中占據(jù)主動(dòng),抓住數(shù)據(jù)所帶來的財(cái)富,企業(yè)紛紛開始研究和分析用戶的日志信息,從中發(fā)現(xiàn)用戶的搜索意圖和興趣偏好,挖掘用戶的行為特征,方便為用戶提供精準(zhǔn)和個(gè)性化的服務(wù)。然而,企業(yè)在處理海量用戶日志信息的同時(shí),面臨著來自兩個(gè)方面的挑戰(zhàn)。一方面是隨著對(duì)用戶行為的深入分析,需要使用大量的數(shù)據(jù)挖掘算法,同時(shí)在對(duì)用戶行為進(jìn)行實(shí)時(shí)場(chǎng)景的分析上,需要具有計(jì)算速度快、低時(shí)延、高容錯(cuò)的要求。傳統(tǒng)的單機(jī)操作遠(yuǎn)遠(yuǎn)不能滿足海量數(shù)據(jù)處理的要求,在MapReduce集群上進(jìn)行大量的迭代計(jì)算和結(jié)構(gòu)化數(shù)據(jù)流的處理,會(huì)產(chǎn)生大量的時(shí)延,不能滿足系統(tǒng)的要求。另一方面是海量搜索日志的存儲(chǔ)問題,傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的可擴(kuò)展能力有限,不能滿足數(shù)據(jù)持續(xù)增長(zhǎng)的存儲(chǔ)需求�；谝陨蠁栴}的分析與研究,在閱讀了大量的相關(guān)文獻(xiàn)資料之后,本文通過對(duì)用戶的需求進(jìn)行詳細(xì)的分析后,設(shè)計(jì)一個(gè)基于Spark的查詢?nèi)罩居脩粜袨橄到y(tǒng),該系統(tǒng)主要?jiǎng)澐譃樗膫�(gè)模塊,分別是日志采集模塊、日志存儲(chǔ)模塊、日志分析模塊...

【文章頁(yè)數(shù)】：63 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖4.1數(shù)據(jù)預(yù)處理

第四章系統(tǒng)的具體實(shí)現(xiàn)32第四章系統(tǒng)的具體實(shí)現(xiàn)4.1數(shù)據(jù)來源系統(tǒng)實(shí)驗(yàn)的數(shù)據(jù)集來源于Sogou的查詢?nèi)罩荆倲?shù)量有500萬(wàn)條，主要包括兩部分，第一部分是2011年12月30日的查詢?nèi)罩居?999918條，第二部分是2011年12月31日的查詢?nèi)罩居?2條，其中第二部分的日志數(shù)量嚴(yán)重缺....

圖4.2讀取日志效果

第四章系統(tǒng)的具體實(shí)現(xiàn)334.2日志采集具體實(shí)現(xiàn)日志采集具體實(shí)現(xiàn)過程分為以下幾個(gè)部分。(1)模擬實(shí)時(shí)查詢?nèi)罩镜漠a(chǎn)生。首先封裝一個(gè)自定義的jar包，它的作用是讀取日志文件，并把日志信息實(shí)現(xiàn)一行行的寫入。然后在weblog-shell.sh文件中，填寫jar包的路徑以及需要寫入的文件路....

圖4.3HBase存儲(chǔ)數(shù)據(jù)

第四章系統(tǒng)的具體實(shí)現(xiàn)34圖4.3HBase存儲(chǔ)數(shù)據(jù)(2)Kafka存儲(chǔ)Kafka存儲(chǔ)的實(shí)現(xiàn)主要通過在Kafka集群上創(chuàng)建Topic，還需要設(shè)置分區(qū)和分區(qū)的副本數(shù)，在Flume的配置文件中配置Topic的信息，實(shí)現(xiàn)把采集的數(shù)據(jù)存儲(chǔ)到Kafka集群的Topic中。本文對(duì)Topic設(shè)置....

圖4.5Hive存儲(chǔ)數(shù)據(jù)

第四章系統(tǒng)的具體實(shí)現(xiàn)34圖4.3HBase存儲(chǔ)數(shù)據(jù)(2)Kafka存儲(chǔ)Kafka存儲(chǔ)的實(shí)現(xiàn)主要通過在Kafka集群上創(chuàng)建Topic，還需要設(shè)置分區(qū)和分區(qū)的副本數(shù)，在Flume的配置文件中配置Topic的信息，實(shí)現(xiàn)把采集的數(shù)據(jù)存儲(chǔ)到Kafka集群的Topic中。本文對(duì)Topic設(shè)置....

本文編號(hào)：3902517