最近幾年,我國大數(shù)據(jù)在政策、技術(shù)、產(chǎn)業(yè)、應用等多個層面都取得了顯著進展,中國數(shù)字經(jīng)濟規(guī)模大幅增長。與此同時,電商互聯(lián)網(wǎng)公司也掌握了其他行業(yè)和企業(yè)無法相比的大數(shù)據(jù),擁有著最精準,最全面的用戶數(shù)據(jù),因此,運用巨量數(shù)據(jù)指導企業(yè)的運營和加速互聯(lián)網(wǎng)產(chǎn)品的升級,也形成為了未來電商互聯(lián)網(wǎng)公司向數(shù)據(jù)驅(qū)動服務和爭奪市場份額的共識,而數(shù)據(jù)源的異構(gòu)性以及PB乃至TB數(shù)量級歷史數(shù)據(jù)的應用轉(zhuǎn)化卻對采用傳統(tǒng)的企業(yè)數(shù)據(jù)倉庫的多維分析帶來了巨大的挑戰(zhàn)。為了解決海量數(shù)據(jù)下傳統(tǒng)基于大型服務器的數(shù)據(jù)倉庫高額運維代價,以及憑借人員經(jīng)驗迭代互聯(lián)網(wǎng)產(chǎn)品局限性,本文充分考慮電商用戶數(shù)據(jù)的特點,設計并開發(fā)了基于Hive的電商多維分析系統(tǒng),進而用數(shù)據(jù)驅(qū)動決策和智慧運營,提高數(shù)據(jù)資源的復用性,該系統(tǒng)實現(xiàn)了基于CDH的大數(shù)據(jù)平臺架構(gòu),并在此平臺之上實現(xiàn)基于Hive的四層數(shù)據(jù)倉庫,通過分層建設數(shù)據(jù)倉庫,大大提升了數(shù)據(jù)治理能力,保證了數(shù)據(jù)質(zhì)量,優(yōu)化了傳統(tǒng)通過Linux下crontab的作業(yè)調(diào)度,集成Azkaban作業(yè)調(diào)度,全面監(jiān)控數(shù)據(jù)運行,并實現(xiàn)了電商用戶活躍等相關(guān)指標,論文的主要工作如下:1.本文研究了現(xiàn)有的大數(shù)據(jù)平臺相關(guān)技術(shù),搭建了基于C...

【文章頁數(shù)】：100 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 論文課題背景
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 論文主要工作
    1.4 論文組織架構(gòu)
第二章 電商多維分析系統(tǒng)的關(guān)鍵技術(shù)
    2.1 Hadoop簡介
        2.1.1 HDFS分布式文件系統(tǒng)
        2.1.2 Mapreduce分布式計算框架
    2.2 Hive數(shù)據(jù)倉庫構(gòu)建
        2.2.1 Hive架構(gòu)原理
        2.2.2 Hive運行機制
        2.2.3 數(shù)據(jù)倉庫實施步驟
    2.3 ETL技術(shù)簡介
    2.4 Druid即席查詢
    2.5 其他技術(shù)
第三章 電商多維分析系統(tǒng)的需求分析
    3.1 系統(tǒng)概況
        3.1.1 系統(tǒng)建設目標
        3.1.2 建設原則
    3.2 系統(tǒng)功能性需求分析
    3.3 系統(tǒng)非功能性需求分析
第四章 電商多維分析系統(tǒng)概要設計
    4.1 系統(tǒng)總體技術(shù)架構(gòu)
    4.2 系統(tǒng)基礎平臺設計
        4.2.1 原始數(shù)據(jù)采集模塊設計
        4.2.2 平臺數(shù)據(jù)存儲模塊設計
        4.2.3 多源數(shù)據(jù)計算模塊設計
    4.3 系統(tǒng)OLAP設計
        4.3.1 系統(tǒng)數(shù)據(jù)倉庫層次
        4.3.2 數(shù)據(jù)倉庫的原始數(shù)據(jù)層
        4.3.3 數(shù)據(jù)倉庫的明細數(shù)據(jù)層
        4.3.4 數(shù)據(jù)倉庫的服務數(shù)據(jù)層
        4.3.5 數(shù)據(jù)倉庫的業(yè)務數(shù)據(jù)層
第五章 電商多維分析系統(tǒng)的實現(xiàn)
    5.1 電商多維分析系統(tǒng)技術(shù)實現(xiàn)
    5.2 電商多維分析子系統(tǒng)ETL實現(xiàn)
        5.2.1 Flume日志采集詳細實現(xiàn)
        5.2.2 Sqoop結(jié)構(gòu)化數(shù)據(jù)采集詳細實現(xiàn)
    5.3 電商多維分析系統(tǒng)數(shù)據(jù)倉庫詳細實現(xiàn)
        5.3.1 ODS層數(shù)據(jù)倉庫具體實施
        5.3.2 DWD層數(shù)據(jù)倉庫具體實施
        5.3.3 DWS層數(shù)據(jù)倉庫具體實施
        5.3.4 ADS層數(shù)據(jù)倉庫具體實施
    5.4 用戶行為多維維分析設計詳細實現(xiàn)
        5.4.1 活躍度用戶具體實現(xiàn)及效果展示
        5.4.2 忠誠用戶分析實現(xiàn)及效果展示
        5.4.3 用戶轉(zhuǎn)化率具體實現(xiàn)及效果展示
        5.4.4 交易行為GMV統(tǒng)計分析具體實現(xiàn)及效果展示
第六章 系統(tǒng)測試
    6.1 基于CDH的系統(tǒng)環(huán)境搭建
        6.1.1 硬件平臺
        6.1.2 軟件環(huán)境
        6.1.3 集群部署
    6.2 Azkaban全自動流水化任務調(diào)度
    6.3 系統(tǒng)測試與驗證
        6.3.1 功能性驗證測試
        6.3.2 非功能性驗證測試
第七章 總結(jié)與展望
    7.1 論文總結(jié)
    7.2 論文展望
參考文獻
致謝
作者簡介
    1 作者簡歷
    2 發(fā)明專利
學位論文數(shù)據(jù)集



本文編號：3834564