【摘要】：近年來智能電網(wǎng)建設(shè)快速發(fā)展,與此同時建設(shè)了一套完善的電力用戶用電信息采集系統(tǒng),這一系統(tǒng)將為數(shù)據(jù)分析提供海量的原始數(shù)據(jù)。由于我國擁有眾多的電力系統(tǒng),所以數(shù)據(jù)的量級將達到PB級甚至TB級,傳統(tǒng)的技術(shù)手段很難處理這個級別的數(shù)據(jù),需要使用新興的大數(shù)據(jù)技術(shù)來進行相關(guān)的分析。在當(dāng)今社會數(shù)據(jù)是最重要的財富,數(shù)據(jù)中隱含著各種各樣的信息,通過分析這些數(shù)據(jù)可以得到更有價值的信息,讓這些數(shù)據(jù)發(fā)揮更大的作用。本文主要通過分析用戶用電的相關(guān)數(shù)據(jù),得出用戶的相關(guān)用電特性,并對用戶未來的用電數(shù)據(jù)進行負荷預(yù)測。首先,介紹了數(shù)據(jù)挖掘的相關(guān)概念,為數(shù)據(jù)的預(yù)處理提供了方法。面對海量的用戶數(shù)據(jù),本文介紹了常見的大數(shù)據(jù)處理框架Hadoop和Spark,同時搭建了相關(guān)的集群,為大數(shù)據(jù)的處理提供數(shù)據(jù)分析平臺。然后將數(shù)據(jù)挖掘中的聚類技術(shù)應(yīng)用到大數(shù)據(jù)分析平臺之上,對用戶的每日用電負荷進行聚類,得到用戶的日負荷曲線并對負荷曲線進行相關(guān)的研究,得出不同用戶的用電模式。由于用戶的樣本維度較高,傳統(tǒng)的聚類方法的效果并不理想,本文在譜聚類的基礎(chǔ)上進行相關(guān)的改進得到冪迭代聚類,將冪迭代聚類應(yīng)用到數(shù)據(jù)分析中同時在Spark平臺上進行了相關(guān)的實現(xiàn),最后能夠很好的得出相關(guān)用戶的用電特性。最后,對用戶進行負荷預(yù)測,將局部加權(quán)算法和Hadoop平臺相結(jié)合實現(xiàn)負荷預(yù)測,并與真實的負荷進行對比,驗證了該方法在電力大數(shù)據(jù)中的有效性與應(yīng)用性。
[Abstract]:In recent years, the construction of smart grid has developed rapidly. At the same time, a set of perfect power user information collection system has been built, which will provide massive raw data for data analysis. Because China has a large number of power systems, the order of data will reach PB level or even TB level, the traditional technology is difficult to deal with this level of data, need to use the emerging big data technology to carry out related analysis. In today's society data is the most important wealth, there is a variety of information hidden in the data, through the analysis of these data can get more valuable information, so that these data play a greater role. Based on the analysis of the relevant data of the user's electricity consumption, this paper obtains the relevant characteristics of the user's electricity consumption, and forecasts the load of the user's future power consumption data. Firstly, the related concepts of data mining are introduced, which provides a method for data preprocessing. In the face of massive user data, this paper introduces the common big data processing framework Hadoop and Spark, at the same time set up a related cluster, which provides a data analysis platform for big data processing. Then, the clustering technology of data mining is applied to big data analysis platform to cluster the daily load of users, get the daily load curve of users and study the load curve. Because the user's sample dimension is high and the effect of the traditional clustering method is not ideal, this paper improves on the spectral clustering to obtain the power iteration clustering. The power iteration clustering is applied to the data analysis and implemented on the Spark platform. Finally, the power consumption characteristics of the relevant users can be well obtained. Finally, load forecasting is implemented by combining local weighting algorithm with Hadoop platform, and compared with real load, the validity and application of this method in power big data are verified.
【學(xué)位授予單位】：華北電力大學(xué)(北京)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP311.13;TM715

【參考文獻】

相關(guān)期刊論文 前10條

1 趙軍;徐曉燕;;基于GraphX的分布式冪迭代聚類[J];計算機應(yīng)用;2016年10期

2 劉思;李林芝;吳浩;孫維真;傅旭華;葉承晉;黃民翔;;基于特性指標(biāo)降維的日負荷曲線聚類分析[J];電網(wǎng)技術(shù);2016年03期

3 孫藝新;;電力大數(shù)據(jù)應(yīng)用模式與前景分析[J];中國電力企業(yè)管理;2015年17期

4 王繼業(yè);;大數(shù)據(jù)在電網(wǎng)企業(yè)的應(yīng)用探索[J];中國電力企業(yè)管理;2015年17期

5 陳華軍;;大數(shù)據(jù)變革——南方電網(wǎng)大數(shù)據(jù)應(yīng)用探索[J];中國電力企業(yè)管理;2015年17期

6 黎文陽;;大數(shù)據(jù)處理模型Apache Spark研究[J];現(xiàn)代計算機(專業(yè)版);2015年08期

7 張素香;趙丙鎮(zhèn);王風(fēng)雨;張東;;海量數(shù)據(jù)下的電力負荷短期預(yù)測[J];中國電機工程學(xué)報;2015年01期

8 張沛;;電力大數(shù)據(jù)應(yīng)用現(xiàn)狀及前景[J];電氣時代;2014年12期

9 劉莉;王剛;翟登輝;;k-means聚類算法在負荷曲線分類中的應(yīng)用[J];電力系統(tǒng)保護與控制;2011年23期

10 李天云;李想;劉輝軍;王洪濤;;基于譜聚類的電力負荷分類[J];吉林電力;2008年05期

相關(guān)碩士學(xué)位論文 前9條

1 陳曉康;基于Spark 云計算平臺的改進K近鄰算法研究[D];廣東工業(yè)大學(xué);2016年

2 陳琦;基于Hadoop的電力大數(shù)據(jù)特征分析研究[D];華北電力大學(xué)(北京);2016年

3 孫兵率;基于MapReduce的數(shù)據(jù)挖掘算法并行化研究與應(yīng)用[D];西安工程大學(xué);2015年

4 杜明建;大數(shù)據(jù)技術(shù)在負荷預(yù)測與負荷特性分析中的應(yīng)用[D];東南大學(xué);2015年

5 袁超;短期電力負荷混合預(yù)測模型研究[D];蘭州大學(xué);2015年

6 李雄;面向大數(shù)據(jù)的聚類挖掘算法研究[D];南京郵電大學(xué);2014年

7 趙碩;云計算和機器學(xué)習(xí)算法在電力負荷預(yù)測中的研究與應(yīng)用[D];華北電力大學(xué);2014年

8 虞樂;基于Hadoop平臺下回歸算法的性能研究[D];南華大學(xué);2012年

9 李軍華;云計算及若干數(shù)據(jù)挖掘算法的MapReduce化研究[D];電子科技大學(xué);2010年

，

本文編號：2248737