由于我國關(guān)于加入GPA(Government Procurement Agreement)談判進(jìn)程的加速以及政府采購改革的持續(xù)深入,政府采購規(guī)模逐漸增加^[1]。政府采購在經(jīng)濟(jì)發(fā)展中也扮演愈發(fā)重要的角色,政府采購數(shù)據(jù)蘊(yùn)藏著一定價(jià)值的信息。本文使用關(guān)聯(lián)規(guī)則Apriori算法對政府采購數(shù)據(jù)進(jìn)行處理,找出政府采購數(shù)據(jù)要素之間強(qiáng)關(guān)聯(lián)關(guān)系,為政府采購工作的反腐倡廉提供參考的依據(jù)。隨著政府采購產(chǎn)生了越來越多的政府采購數(shù)據(jù),傳統(tǒng)的數(shù)據(jù)挖掘手段對大量數(shù)據(jù)的分析顯得無能為力,采用大數(shù)據(jù)與數(shù)據(jù)挖掘手段處理政府采購數(shù)據(jù)是本文研究的目標(biāo)。為了提高原始Apriori算法在處理大量數(shù)據(jù)的效率以及使用Apriori算法對政府采購數(shù)據(jù)進(jìn)行分析,采取基于Hadoop平臺提高Apriori算法處理數(shù)據(jù)的效率。文章中詳細(xì)描述了Apriori算法、基于Hadoop的h-Apriori以及改進(jìn)后的mh-Apriori算法,并實(shí)現(xiàn)了這三種算法,采用數(shù)據(jù)集進(jìn)行算法效率的驗(yàn)證。論文的實(shí)驗(yàn)分為三組,第一組,第二組實(shí)驗(yàn)結(jié)果說明數(shù)據(jù)集chess與mushroom在三種算法的處理下,基于Hadoop平臺算法花費(fèi)的時(shí)間要略...

【文章頁數(shù)】：64 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文的研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
第二章 基于Hadoop的政府采購數(shù)據(jù)多要素關(guān)聯(lián)分析算法研究
    2.1 關(guān)聯(lián)規(guī)則基本原理
    2.2 關(guān)聯(lián)規(guī)則算法
        2.2.1 Apriori算法
        2.2.2 FP-growth算法
    2.3 Hadoop相關(guān)知識理論
        2.3.1 Hadoop技術(shù)介紹
        2.3.2 HDFS文件系統(tǒng)介紹
        2.3.3 HBase數(shù)據(jù)庫
        2.3.4 MapReduce并行計(jì)算框架介紹
        2.3.5 yarn技術(shù)介紹
    2.4 基于Hadoop的并行化Apriori算法
    2.5 基于Hadoop并行化Apriori算法的優(yōu)化
        2.5.1 h-Apriori算法的缺陷
        2.5.2 mh-Apriori算法設(shè)計(jì)
        2.5.3 算法運(yùn)行過程
    2.6 算法比較
        2.6.1 實(shí)驗(yàn)環(huán)境及實(shí)驗(yàn)數(shù)據(jù)
        2.6.2 實(shí)驗(yàn)結(jié)果分析
    2.7 本章總結(jié)
第三章 政府采購數(shù)據(jù)獲取及處理
    3.1 政府采購數(shù)據(jù)的獲取
        3.1.1 網(wǎng)頁結(jié)構(gòu)介紹
        3.1.2 爬蟲介紹
        3.1.3 爬蟲涉及技術(shù)
        3.1.4 爬蟲模塊設(shè)計(jì)
        3.1.5 部分核心代碼
    3.2 數(shù)據(jù)清洗與轉(zhuǎn)化
        3.2.1 數(shù)據(jù)清洗
        3.2.2 數(shù)據(jù)轉(zhuǎn)化
    3.3 本章總結(jié)
第四章 mh-Apriori算法在政府采購數(shù)據(jù)多要素關(guān)聯(lián)分析中應(yīng)用
    4.1 mh-Apriori算法對政府采購數(shù)據(jù)處理
    4.2 h-Apriori及 mh-Apriori算法對政府采購數(shù)據(jù)處理的性能對比
    4.3 規(guī)則可視化
    4.4 mh-Apriori算法對政府采購數(shù)據(jù)處理結(jié)果的分析
    4.5 政府采購數(shù)據(jù)分析平臺
    4.6 本章總結(jié)
第五章 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
致謝
參考文獻(xiàn)
攻讀學(xué)位期間參加科研情況及獲得的學(xué)術(shù)成果



本文編號：3860216