本文關(guān)鍵詞：智能電網(wǎng)中數(shù)據(jù)處理技術(shù)的應(yīng)用研究

  更多相關(guān)文章： MapReduce 關(guān)聯(lián)規(guī)則挖掘 FP-Growth算法 K-Means算法

【摘要】：隨著智能電網(wǎng)建設(shè)的不斷發(fā)展和深入推進(jìn),積累的電網(wǎng)數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)。如何從這些歷史數(shù)據(jù)中挖掘出“寶藏”,已經(jīng)成為堅(jiān)強(qiáng)智能電網(wǎng)建設(shè)過(guò)程中的迫切需求,而大數(shù)據(jù)存儲(chǔ)和處理技術(shù)的崛起為其數(shù)據(jù)的挖掘帶來(lái)了新的機(jī)遇。在使用大數(shù)據(jù)技術(shù)挖掘海量數(shù)據(jù)的過(guò)程中,Hadoop平臺(tái)優(yōu)良的集群特性、MapReduce強(qiáng)大的計(jì)算能力以及HDFS的存儲(chǔ)能力都發(fā)揮了極大的優(yōu)勢(shì)。本文將Hadoop平臺(tái)與關(guān)聯(lián)規(guī)則挖掘技術(shù)相結(jié)合,根據(jù)電網(wǎng)數(shù)據(jù)的實(shí)際需求,采用K-Means聚類(lèi)算法對(duì)連續(xù)型數(shù)據(jù)離散化處理,再采用改進(jìn)的FP-Growth算法挖掘關(guān)聯(lián)關(guān)系,最后設(shè)計(jì)并實(shí)現(xiàn)了基于Hadoop的關(guān)聯(lián)規(guī)則挖掘系統(tǒng)。本文主要完成了以下三方面的工作:第一,給出一種改進(jìn)的基于MapReduce并行FP-Growth算法,該算法在保證并行算法劃分事務(wù)集相互獨(dú)立的基礎(chǔ)上,引入矩陣存儲(chǔ)事務(wù),減少了數(shù)據(jù)庫(kù)掃描次數(shù)。與此同時(shí),在生成頻繁模式項(xiàng)時(shí),設(shè)計(jì)了IDFPTree數(shù)據(jù)結(jié)構(gòu),減少程序運(yùn)行所需內(nèi)存空間,提高了算法的效率。第二,基于MapReduce框架實(shí)現(xiàn)了K-Means算法和FP-Growth算法,并將其移植到Hadoop平臺(tái)上。第三,構(gòu)建了基于MapReduce編程框架的智能電網(wǎng)數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘系統(tǒng),采用B/S架構(gòu),服務(wù)器建立在Hadoop平臺(tái)上,負(fù)責(zé)對(duì)用戶提交的任務(wù)進(jìn)行分布式計(jì)算。本文將所設(shè)計(jì)的系統(tǒng)應(yīng)用到電力企業(yè)營(yíng)銷(xiāo)數(shù)據(jù)的分析之中,挖掘出用戶的分類(lèi)屬性(用戶屬性、市場(chǎng)屬性等)與決策屬性(分時(shí)用電量)之間的強(qiáng)關(guān)聯(lián)規(guī)則,從而揭示出傳統(tǒng)方法無(wú)法發(fā)現(xiàn)的售電規(guī)律,對(duì)電力市場(chǎng)營(yíng)銷(xiāo)分析意義重大。
【學(xué)位授予單位】：華北電力大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP311.13;TM76

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 施亮;錢(qián)雪忠;;基于Hadoop的并行FP-Growth算法的研究與實(shí)現(xiàn)[J];微電子學(xué)與計(jì)算機(jī);2015年04期

2 張東霞;苗新;劉麗平;張焰;劉科研;;智能電網(wǎng)大數(shù)據(jù)技術(shù)發(fā)展研究[J];中國(guó)電機(jī)工程學(xué)報(bào);2015年01期

3 崔莉霞;;基于Hadoop的并行聚類(lèi)算法的研究[J];計(jì)算機(jī)光盤(pán)軟件與應(yīng)用;2014年23期

4 章志剛;吉根林;;一種基于FP-Growth的頻繁項(xiàng)目集并行挖掘算法[J];計(jì)算機(jī)工程與應(yīng)用;2014年02期

5 宋亞奇;周?chē)?guó)亮;朱永利;;智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J];電網(wǎng)技術(shù);2013年04期

6 呂雪驥;李龍澍;;FP-Growth算法MapReduce化研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2012年11期

7 王千;王成;馮振元;葉金鳳;;K-means聚類(lèi)算法研究綜述[J];電子設(shè)計(jì)工程;2012年07期

8 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

9 江務(wù)學(xué);張t，

本文編號(hào)：1231747