隨著我國經(jīng)濟(jì)的不斷發(fā)展,物流行業(yè)也增長迅猛,物流公共服務(wù)平臺每天的訪問量也在飛速增長。海量的訪問日志數(shù)據(jù)看似雜亂無章,實(shí)則蘊(yùn)藏著海量用戶的各種行為習(xí)慣。平臺通過對用戶與網(wǎng)站交互過程深層次信息的挖掘,助力物流公共服務(wù)平臺提供更好的服務(wù)、滿足更深層的需求、留住更多的用戶。因此本文具有為為平臺提高物流企業(yè)效率、降低成本的實(shí)際意義。本文從用戶訪問日志入手,設(shè)計并實(shí)現(xiàn)了一套面向用戶訪問分析的物流公共服務(wù)平臺日志處理系統(tǒng),它涵蓋了從日志收集、存儲、分析到展示的過程。本文主要對以下幾點(diǎn)進(jìn)行了探索:(1)對文中涉及的技術(shù)進(jìn)行了研究。對本文所涉及的訪問日志、Flume和Hadoop等技術(shù)概念進(jìn)行了研究。主要包括訪問日志的作用及內(nèi)容,Flume工具的架構(gòu)原理和特點(diǎn)和Hadoop的相關(guān)技術(shù)。(2)對面向用戶訪問分析的物流公共服務(wù)平臺日志處理系統(tǒng)的需求進(jìn)行分析。針對當(dāng)前平臺無法存儲和分析海量數(shù)據(jù)、數(shù)據(jù)利用率低等問題,結(jié)合用戶訪問日志的內(nèi)容,得到解決相應(yīng)問題的需求,對系統(tǒng)的功能提出了相應(yīng)的需求指標(biāo)。(3)完成面向用戶訪問分析的物流公共服務(wù)平臺日志處理系統(tǒng)的設(shè)計和實(shí)現(xiàn)。系統(tǒng)將由采集存儲、清洗過濾、分析挖掘和數(shù)據(jù)展...

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 研究現(xiàn)狀
        1.2.1 物流公共服務(wù)平臺現(xiàn)狀
        1.2.2 Web日志研究現(xiàn)狀
        1.2.3 分布式技術(shù)研究現(xiàn)狀
    1.3 研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
    1.5 本章小結(jié)
第二章 相關(guān)概念和技術(shù)
    2.1 訪問日志相關(guān)概念
    2.2 Flume相關(guān)概念
    2.3 Hadoop相關(guān)概念
        2.3.1 基本介紹
        2.3.2 HDFS
        2.3.3 MapReduce編程模型
        2.3.4 Hive
    2.4 本章小結(jié)
第三章 物流公共服務(wù)平臺日志處理系統(tǒng)需求分析
    3.1 存在的問題分析
    3.2 物流公共服務(wù)平臺需求分析
        3.2.1 平臺的基礎(chǔ)統(tǒng)計需求
        3.2.2 平臺的深度分析需求
    3.3 日志分析系統(tǒng)功能需求
    3.4 系統(tǒng)工作流程
        3.4.1 系統(tǒng)啟動流程
        3.4.2 日志分析流程
    3.5 本章小結(jié)
第四章 物流公共服務(wù)平臺日志處理系統(tǒng)設(shè)計
    4.1 系統(tǒng)總體架構(gòu)
    4.2 采集存儲模塊設(shè)計
        4.2.1 日志采集方式
        4.2.2 日志存儲方式
    4.3 清洗過濾模塊設(shè)計
        4.3.1 數(shù)據(jù)清洗的作用
        4.3.2 日志格式
        4.3.3 “臟數(shù)據(jù)”清洗
        4.3.4 用戶識別
        4.3.5 會話識別
    4.4 分析挖掘模塊設(shè)計
        4.4.1 基礎(chǔ)統(tǒng)計分析的設(shè)計
        4.4.2 用戶來源地識別的設(shè)計
        4.4.3 時間序列分析的設(shè)計
    4.5 數(shù)據(jù)展示模塊設(shè)計
    4.6 本章小結(jié)
第五章 物流公共服務(wù)平臺日志處理系統(tǒng)實(shí)現(xiàn)和測試
    5.1 采集存儲模塊實(shí)現(xiàn)
    5.2 清洗過濾模塊實(shí)現(xiàn)
    5.3 分析挖掘模塊實(shí)現(xiàn)
        5.3.1 基礎(chǔ)指標(biāo)的分析
        5.3.2 用戶來源地識別的實(shí)現(xiàn)
        5.3.3 時間序列分析的實(shí)現(xiàn)
    5.4 數(shù)據(jù)展示模塊實(shí)現(xiàn)
    5.5 系統(tǒng)測試與結(jié)果分析
        5.5.1 系統(tǒng)環(huán)境
        5.5.2 系統(tǒng)運(yùn)行及功能測試
        5.5.3 分析結(jié)果應(yīng)用
    5.6 本章小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 工作展望
參考文獻(xiàn)
致謝



本文編號：3768436