隨著科學(xué)技術(shù)的發(fā)展,我們已經(jīng)步入了一個(gè)信息爆炸的時(shí)代,同時(shí),全世界產(chǎn)生的數(shù)據(jù)也以幾何級(jí)的比例快速增長(zhǎng),人類已全面進(jìn)入了大數(shù)據(jù)的時(shí)代。全球各個(gè)行業(yè)的企業(yè)也迅速認(rèn)識(shí)到了數(shù)據(jù)的重要性,數(shù)據(jù)被各個(gè)企業(yè)納入到了資產(chǎn)的范疇,產(chǎn)生了數(shù)據(jù)資產(chǎn)的概念,數(shù)據(jù)資產(chǎn)已成為企業(yè)的核心競(jìng)爭(zhēng)力。如何圍繞企業(yè)的大數(shù)據(jù)信息,構(gòu)建低成本、高效率的大數(shù)據(jù)生態(tài)系統(tǒng),成為了各個(gè)企業(yè)的重要任務(wù)。本文旨在以電信運(yùn)營(yíng)商運(yùn)營(yíng)域數(shù)據(jù)之一的用戶手機(jī)上網(wǎng)日志為切入點(diǎn),構(gòu)建了一個(gè)大數(shù)據(jù)分析的原型系統(tǒng),原型系統(tǒng)基于Hadoop的海量日志數(shù)據(jù)準(zhǔn)實(shí)時(shí)查詢系統(tǒng)的架構(gòu)進(jìn)行設(shè)計(jì),并對(duì)主要模塊進(jìn)行了實(shí)現(xiàn)和驗(yàn)證。其設(shè)計(jì)原則是建設(shè)高性能的、完善的、開放的平臺(tái)。針對(duì)系統(tǒng)功能及應(yīng)用特點(diǎn),對(duì)涉及到的相關(guān)技術(shù),如HDFS、MapReduce、Hbase等Hadoop生態(tài)圈的原理和特性,本文也詳細(xì)研究和探討。根據(jù)系統(tǒng)實(shí)現(xiàn)情況及最終測(cè)試驗(yàn)證結(jié)果,表明采用Hadoop生態(tài)圈技術(shù)能夠很好的支撐大數(shù)據(jù)分析平臺(tái)的建設(shè),完成從數(shù)據(jù)采集、分析處理至最終應(yīng)用展現(xiàn)的全流程支撐。本文設(shè)計(jì)實(shí)現(xiàn)的基于Hadoop的海量日志數(shù)據(jù)準(zhǔn)實(shí)時(shí)查詢系統(tǒng)具有一定的實(shí)用性,較強(qiáng)的系統(tǒng)通用性和擴(kuò)展性。 

【文章頁數(shù)】：50 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 .研究背景和意義
    1.2 .國(guó)內(nèi)外現(xiàn)狀
    1.3 .論文工作及結(jié)構(gòu)安排
        1.3.1 .本文主要研究工作
        1.3.2 .本文結(jié)構(gòu)安排
第二章 Hadoop平臺(tái)技術(shù)研究
    2.1 .Hadoop平臺(tái)概述
    2.2 .Hadoop平臺(tái)架構(gòu)
    2.3 .HDFS介紹
    2.4 .MapReduce介紹
    2.5 .Hbase介紹
    2.6 .本章小結(jié)
第三章 系統(tǒng)設(shè)計(jì)
    3.1 .系統(tǒng)技術(shù)架構(gòu)設(shè)計(jì)
    3.2 .系統(tǒng)數(shù)據(jù)流向設(shè)計(jì)
    3.3 .數(shù)據(jù)采集及加載
        3.3.1 .采集結(jié)構(gòu)設(shè)計(jì)
        3.3.2 .接口規(guī)范定義
        3.3.3 .采集程序設(shè)計(jì)
        3.3.4 .數(shù)據(jù)加載
    3.4 .數(shù)據(jù)分析處理
        3.4.1 .數(shù)據(jù)模型構(gòu)建
        3.4.2 .文件預(yù)處理及記錄級(jí)校驗(yàn)
        3.4.3 .基于MapReduce的數(shù)據(jù)計(jì)算處理
    3.5 .基于Hbase的數(shù)據(jù)查詢?cè)O(shè)計(jì)
        3.5.1 .基于Hbase特征的查詢表設(shè)計(jì)
        3.5.2 .數(shù)據(jù)查詢服務(wù)
    3.6 .本章小結(jié)
第四章 系統(tǒng)部署與驗(yàn)證
    4.1 .實(shí)驗(yàn)環(huán)境情況及部署
    4.2 .數(shù)據(jù)采集測(cè)試
    4.3 .數(shù)據(jù)文件合并及入庫(kù)測(cè)試
    4.4 .數(shù)據(jù)分析計(jì)算測(cè)試
    4.5 .頁面數(shù)據(jù)查詢測(cè)試
    4.6 .系統(tǒng)整體性能評(píng)估
    4.7 .本章小結(jié)
第五章 總結(jié)與展望
    5.1 .總結(jié)
    5.2 .展望
參考文獻(xiàn)
致謝



本文編號(hào)：3667021