隨著科學(xué)技術(shù)日新月異發(fā)展,人類在生產(chǎn)生活中產(chǎn)生了無(wú)數(shù)的數(shù)據(jù)信息,數(shù)據(jù)從處理對(duì)象成為了一種基礎(chǔ)性的資源。各高校積累了大量的學(xué)生行為數(shù)據(jù),這些行為數(shù)據(jù)記錄當(dāng)中隱藏著大量有價(jià)值的信息,但我們很難憑借直觀的感覺(jué)發(fā)現(xiàn)它,必須通過(guò)數(shù)據(jù)挖掘的方法將其表示出來(lái),發(fā)現(xiàn)其中的有價(jià)值的信息,為高校資源的合理分配,校園的規(guī)劃建設(shè)及師生的管理等工作提供有價(jià)值的參考。本文提出并實(shí)現(xiàn)了一個(gè)面向校園大數(shù)據(jù)的行為數(shù)據(jù)挖掘與分析系統(tǒng)。論文首先對(duì)現(xiàn)在高校的校園卡數(shù)據(jù)進(jìn)行了分析和現(xiàn)在的相關(guān)技術(shù)的研究現(xiàn)狀做了簡(jiǎn)要分析。然后,具體分析了數(shù)據(jù)挖掘中常用的Hadoop技術(shù),具體介紹了FP-Growth算法的原理和流程。第三,基于sqoop技術(shù)設(shè)計(jì)了這種校園卡的用戶數(shù)據(jù)倉(cāng)庫(kù)。最后對(duì)行為大數(shù)據(jù)進(jìn)行了挖掘分析。主要包括:一、先統(tǒng)計(jì)分析確定出不同時(shí)間段食堂就餐人數(shù),分析其變化情況,從而明確學(xué)校就餐高峰期相關(guān)的規(guī)律;二、通過(guò)統(tǒng)計(jì)部分學(xué)生的消費(fèi),使用決策樹(shù)算法來(lái)建立學(xué)生貧困度模型,后通過(guò)剪枝手段優(yōu)化,提升評(píng)估的準(zhǔn)確率;三、統(tǒng)計(jì)學(xué)生經(jīng)常去的商戶,對(duì)相關(guān)數(shù)據(jù)進(jìn)行挖掘分析,確定出學(xué)生和商戶的關(guān)聯(lián)規(guī)則,從而得到更方便于學(xué)生的方式。

【文章頁(yè)數(shù)】：60 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景與意義
    1.2 研究目標(biāo)與內(nèi)容
        1.2.1 研究目標(biāo)
        1.2.2 研究?jī)?nèi)容
    1.3 論文的總體結(jié)構(gòu)
第2章 相關(guān)關(guān)鍵技術(shù)及算法綜述
    2.1 Hadoop
        2.1.1 分布式文件系統(tǒng)HDFS
        2.1.2 分布式批處理框架MapReduce
        2.1.3 數(shù)據(jù)倉(cāng)庫(kù)工具Hive
        2.1.4 數(shù)據(jù)傳遞工具Sqoop
    2.2 關(guān)聯(lián)規(guī)則挖掘算法
        2.2.1 關(guān)聯(lián)規(guī)則概念
        2.2.2 Fp-Growth算法
    2.3 決策樹(shù)分類算法
        2.3.1 決策樹(shù)基本概念
        2.3.2 常見(jiàn)劃分策略
        2.3.3 剪枝處理
第3章 系統(tǒng)總體架構(gòu)及關(guān)鍵算法研究
    3.1 系統(tǒng)平臺(tái)建設(shè)需求
    3.2 系統(tǒng)構(gòu)建模型
    3.3 系統(tǒng)技術(shù)架構(gòu)
    3.4 系統(tǒng)關(guān)鍵算法
        3.4.1 在校貧困學(xué)生挖掘方法
        3.4.2 學(xué)生就餐地點(diǎn)選擇關(guān)聯(lián)分析方法
第4章 行為數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建
    4.1 系統(tǒng)環(huán)境安裝
    4.2 行為數(shù)據(jù)預(yù)處理
        4.2.1 消費(fèi)流水?dāng)?shù)據(jù)篩選預(yù)處理
        4.2.2 學(xué)生用戶信息數(shù)據(jù)預(yù)處理
        4.2.3 商戶信息預(yù)處理
        4.2.4 行為數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)
    4.3 行為主題確定
        4.3.1 數(shù)據(jù)倉(cāng)庫(kù)概念設(shè)計(jì)
        4.3.2 數(shù)據(jù)倉(cāng)庫(kù)維度設(shè)計(jì)
        4.3.3 數(shù)據(jù)倉(cāng)庫(kù)表設(shè)計(jì)
第5章 校園卡數(shù)據(jù)挖掘與分析
    5.1 就餐人數(shù)統(tǒng)計(jì)
        5.1.1 每日就餐人數(shù)統(tǒng)計(jì)
        5.1.2 早中晚就餐高峰時(shí)間
        5.1.3 就餐地點(diǎn)統(tǒng)計(jì)
    5.2 在校貧困學(xué)生挖掘與分析
        5.2.1 統(tǒng)計(jì)各類消費(fèi)數(shù)據(jù)
        5.2.2 數(shù)據(jù)選取
        5.2.3 決策樹(shù)與分析
    5.3 學(xué)生就餐地點(diǎn)選擇關(guān)聯(lián)分析
        5.3.1 統(tǒng)計(jì)常去餐飲
        5.3.2 頻繁模式挖掘
        5.3.3 關(guān)聯(lián)規(guī)則分析
第6章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻(xiàn)
致謝



本文編號(hào)：3756799