發(fā)布時間：2017-09-29 07:26

  本文關鍵詞：云技術在電力系統(tǒng)不良數(shù)據(jù)處理中的研究與應用

  更多相關文章： 云計算 不良數(shù)據(jù) 數(shù)據(jù)挖掘 Hadoop Storm

【摘要】：大數(shù)據(jù)時代,電網(wǎng)運行產生的數(shù)據(jù)呈爆炸式增長,傳統(tǒng)的計算與存儲模式已逐漸無法適應電力系統(tǒng)的需求。云計算技術作為一種具有超大規(guī)模、高可用性和高伸縮性等特性的海量數(shù)據(jù)處理新技術能夠用于解決該問題,并為新一代電力信息平臺的建設提供解決方案。本文著重針對云技術在電力系統(tǒng)不良數(shù)據(jù)辨識與修正領域的應用展開了研究。論文闡述了云技術與電力系統(tǒng)不良數(shù)據(jù)處理的國內外研究現(xiàn)狀,研究了批處理云計算框架Hadoop與實時云計算框架Storm的核心技術與實現(xiàn)機理,在此基礎上,從數(shù)據(jù)挖掘技術與拓撲理論兩個方面設計了多種云計算下的不良數(shù)據(jù)處理算法。數(shù)據(jù)挖掘技術方面,提出了一種Hadoop下的分布式系統(tǒng)聚類算法用于數(shù)據(jù)預處理。通過將不良數(shù)據(jù)辨識問題轉化為二類分類問題,提出了一種基于支持向量機并采用滑動窗口機制的分布式不良數(shù)據(jù)處理算法,算法分為離線與在線兩個模式,離線模式采用Hadoop進行分布式處理,首先對樣本數(shù)據(jù)進行聚類,對每個保留的類簇按時段劃分并分別訓練SVM模型；在線模式通過設置滑動窗口接收待辨識數(shù)據(jù),采用對應的SVM模型辨識壞數(shù)據(jù)并采用線性插值法對其進行修正。拓撲理論方面,提出了一種Storm下的針對全網(wǎng)有功功率的分布式不良數(shù)據(jù)處理算法。算法通過電路約束條件進行數(shù)據(jù)處理,在子網(wǎng)邊界處引入冗余信息使得Storm能夠對每個子網(wǎng)進行分布式計算,最后在母網(wǎng)層面整合計算從而實現(xiàn)全網(wǎng)數(shù)據(jù)辨識與修正。同時,提出了一種Storm下的分布式狀態(tài)估計算法。算法通過在聯(lián)絡線處引入虛擬節(jié)點并從虛擬節(jié)點處進行子網(wǎng)分裂進而針對子網(wǎng)進行分布式狀態(tài)估計計算與不良數(shù)據(jù)處理,其中壞數(shù)據(jù)處理部分簡化了殘差搜索辨識法的實現(xiàn)流程。論文針對提出的每種算法進行了仿真測試,結果表明它們具備較好的不良數(shù)據(jù)處理能力和實時性,具有一定的應用前景。
【關鍵詞】：云計算 不良數(shù)據(jù) 數(shù)據(jù)挖掘 Hadoop Storm
【學位授予單位】：東南大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP311.13;TM732
【目錄】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 緒論8-14
• 1.1 課題研究背景及意義8-9
• 1.1.1 課題研究背景8
• 1.1.2 課題研究意義8-9
• 1.2 國內外研究現(xiàn)狀9-11
• 1.2.1 云技術研究現(xiàn)狀9-10
• 1.2.2 電力系統(tǒng)不良數(shù)據(jù)處理算法研究現(xiàn)狀10-11
• 1.3 論文主要研究內容11-14
• 第二章 云技術及其框架14-22
• 2.1 概述14-15
• 2.2 批處理云計算框架Hadoop15-19
• 2.2.1 Hadoop簡介15
• 2.2.2 分布式文件系統(tǒng)HDFS15-17
• 2.2.3 MapReduce編程模型17-19
• 2.3 實時云計算框架Storm19-21
• 2.3.1 Storm簡介19
• 2.3.2 Storm實現(xiàn)原理19-21
• 2.4 本章小結21-22
• 第三章 基于數(shù)據(jù)挖掘技術的不良數(shù)據(jù)處理算法22-44
• 3.1 引言22-23
• 3.2 分布式系統(tǒng)聚類算法及其實現(xiàn)23-28
• 3.2.1 系統(tǒng)聚類算法23-24
• 3.2.2 Hadoop下的分布式系統(tǒng)聚類算法24-28
• 3.3 支持向量機(SVM)28-33
• 3.3.1 線性分類28-30
• 3.3.2 非線性分類30-32
• 3.3.3 松弛變量32-33
• 3.4 分布式不良數(shù)據(jù)辨識與修正算法及其實現(xiàn)33-37
• 3.4.1 離線模式34-36
• 3.4.2 在線模式36-37
• 3.5 算例分析37-42
• 3.6 本章小結42-44
• 第四章 基于拓撲理論的不良數(shù)據(jù)處理算法44-68
• 4.1 引言44-46
• 4.2 分布式有功數(shù)據(jù)辨識與修正算法46-55
• 4.2.1 辨識與修正規(guī)則46-48
• 4.2.2 Storm下的算法實現(xiàn)48-50
• 4.2.3 算例分析50-55
• 4.3 分布式狀態(tài)估計算法55-66
• 4.3.1 算法設計及其在Storm下的實現(xiàn)55-61
• 4.3.2 可觀測性分析61
• 4.3.3 算例分析61-66
• 4.4 本章小結66-68
• 第五章 結論與展望68-70
• 致謝70-72
• 參考文獻72-76
• 附錄A Hadoop下的系統(tǒng)聚類算法核心代碼76-80
• 附錄B Storm下的有功數(shù)據(jù)辨識與修正算法核心代碼80-100
• 附錄C Storm下的分布式狀態(tài)估計算法核心代碼100-106

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉蘭輝;論前途光明的數(shù)據(jù)挖掘技術[J];內蒙古科技與經(jīng)濟;2004年05期

2 方忠祥,屠立;數(shù)據(jù)挖掘技術在客戶關系管理中的應用研究[J];機床與液壓;2005年06期

3 王文興;;數(shù)據(jù)挖掘技術的道與術[J];機械工業(yè)信息與網(wǎng)絡;2006年03期

4 李志;;淺析數(shù)據(jù)挖掘技術[J];硅谷;2008年21期

5 孔莉莎;劉聞;;淺談數(shù)據(jù)挖掘技術與軍事決策支持[J];裝備制造技術;2009年10期

6 王旭;;對數(shù)據(jù)挖掘技術在各領域內應用的探討[J];中國新技術新產品;2009年24期

7 勞飛;;數(shù)據(jù)挖掘技術在交通事故分析中的應用[J];山東交通科技;2010年05期

8 王順民;;構建基于數(shù)據(jù)挖掘技術的現(xiàn)代醫(yī)院信息平臺[J];制造業(yè)自動化;2011年05期

9 潘程;陳玉華;;淺談數(shù)據(jù)挖掘技術在零售業(yè)中的應用[J];中國新技術新產品;2011年16期

10 宋向瑛;;數(shù)據(jù)挖掘技術在黨校信息化管理的應用[J];硅谷;2012年09期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 孫義明;曾繼東;;數(shù)據(jù)挖掘技術及其應用[A];全國計算機安全學術交流會論文集（第二十二卷）[C];2007年

2 馬洪杰;曲曉飛;;數(shù)據(jù)挖掘技術和過程的特點[A];面向21世紀的科技進步與社會經(jīng)濟發(fā)展（上冊）[C];1999年

3 寧紅梅;安志興;葛亞明;李敬璽;趙坤;鐘華;陳俊杰;崔艷紅;;數(shù)據(jù)挖掘技術在獸醫(yī)學中的應用[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年

4 王桂芹;黃道;;數(shù)據(jù)挖掘技術綜述[A];計算機技術與應用進展·2007——全國第18屆計算機技術與應用（CACIS）學術會議論文集[C];2007年

5 徐寶蓮;李曉奇;;數(shù)據(jù)挖掘技術在網(wǎng)絡游戲中的應用[A];第十一屆中國不確定系統(tǒng)年會、第十五屆中國青年信息與管理學者大會論文集[C];2013年

6 胡廣芹;陸小左;;數(shù)據(jù)挖掘技術在中醫(yī)診斷中的應用[A];中國中西醫(yī)結合學會診斷專業(yè)委員會2009’年會論文集[C];2009年

7 戈欣;吳曉芬;許建榮;;數(shù)據(jù)挖掘技術在放射科醫(yī)療管理中的潛在作用[A];2009中華醫(yī)學會影像技術分會第十七次全國學術大會論文集[C];2009年

8 鐵軍;吳智明;;數(shù)據(jù)挖掘技術在工業(yè)鋁電解生產中的應用[A];第十九屆全國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2002年

9 王建華;王菲;黃國建;;數(shù)據(jù)挖掘技術研究的現(xiàn)狀及展望[A];中國運籌學會第六屆學術交流會論文集（上卷）[C];2000年

10 肖健華;吳今培;;數(shù)據(jù)挖掘技術及其應用實例[A];2001年中國智能自動化會議論文集（下冊）[C];2001年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 記者　呂賢如;大力加強數(shù)據(jù)挖掘技術研究應用[N];光明日報;2006年

2 主持人 李禾;數(shù)據(jù)挖掘技術如何驅動經(jīng)濟車輪[N];科技日報;2007年

3 梅靜彥;數(shù)據(jù)挖掘技術在美國銀行的應用[N];金融時報;2006年

4 鄒廣普;數(shù)據(jù)挖掘技術在保險業(yè)中的應用[N];中國保險報;2010年

5 陳曉 山西財經(jīng)大學教師;數(shù)據(jù)挖掘技術在高校教學管理中的應用[N];山西經(jīng)濟日報;2010年

6 張崇峰;挖掘，，再挖掘[N];中國計算機報;2003年

7 劉紅巖、何軍;利用數(shù)據(jù)挖掘技術獲得商業(yè)智能[N];中國計算機報;2003年

8 ;IBM公司推出新型數(shù)據(jù)挖掘技術[N];中國高新技術產業(yè)導報;2001年

9 劉軍 蘭小紅 龔富強;新技術為老裝備“保駕護航”[N];大眾科技報;2006年

10 ;軟件產業(yè)人才培養(yǎng)又辟新路[N];中國高新技術產業(yè)導報;2000年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 沈忱;基于貝葉斯網(wǎng)絡數(shù)據(jù)挖掘技術研究《本草綱目》活血化瘀類中藥性—效—用關系[D];南京中醫(yī)藥大學;2015年

2 姚山;基于數(shù)據(jù)挖掘技術的造林決策研究[D];北京林業(yè)大學;2008年

3 曹秀英;基于粗集的數(shù)據(jù)挖掘技術及其應用研究[D];哈爾濱工程大學;2003年

4 伍平陽;基于數(shù)據(jù)挖掘技術的醫(yī)療設備績效預測方法的應用研究[D];南方醫(yī)科大學;2008年

5 劉剛;數(shù)據(jù)挖掘技術與分類算法研究[D];中國人民解放軍信息工程大學;2004年

6 王勇;時序數(shù)據(jù)挖掘技術及其在水質預測中的應用研究[D];廣東工業(yè)大學;2005年

7 熊忠陽;面向商業(yè)智能的并行數(shù)據(jù)挖掘技術及應用研究[D];重慶大學;2004年

8 朱恒民;領域知識制導的數(shù)據(jù)挖掘技術及其在中藥提取中的應用[D];南京航空航天大學;2006年

9 毛國君;數(shù)據(jù)挖掘技術與關聯(lián)規(guī)則挖掘算法研究[D];北京工業(yè)大學;2003年

10 王萍;基于數(shù)據(jù)挖掘技術的消費者行為研究[D];吉林大學;2004年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 肖建國;數(shù)據(jù)挖掘技術在就業(yè)指導與本科教學改革工作中的應用研究[D];吉林大學;2008年

2 錢和平;基于改進的灰色理論數(shù)據(jù)挖掘技術的研究[D];內蒙古農業(yè)大學;2010年

3 安冬冬;基于數(shù)據(jù)挖掘技術的常規(guī)公交服務水平評價體系研究[D];西南交通大學;2015年

4 陳萍;數(shù)據(jù)挖掘技術在網(wǎng)絡教學中的應用研究[D];廣東技術師范學院;2015年

5 鄧博;基于數(shù)據(jù)挖掘技術構建電信4G客戶預測模型的研究[D];蘭州大學;2015年

6 趙明芳;數(shù)據(jù)挖掘技術在教學評教中的應用與研究[D];寧夏大學;2015年

7 苗家銘;基于數(shù)據(jù)挖掘技術的商業(yè)銀行個人信用風險評估模型及其應用[D];南京財經(jīng)大學;2015年

8 鮑素貞;數(shù)據(jù)挖掘技術在個性化網(wǎng)絡教學平臺中的應用研究[D];聊城大學;2015年

9 李文棟;基于Spark的大數(shù)據(jù)挖掘技術的研究與實現(xiàn)[D];山東大學;2015年

10 郭忠俊;基于數(shù)據(jù)挖掘技術的礦井提升機故障診斷研究[D];中國礦業(yè)大學;2015年

本文編號：940718