發(fā)布時(shí)間：2017-08-03 08:11

  本文關(guān)鍵詞：多源異構(gòu)的智能配用電數(shù)據(jù)存儲(chǔ)處理技術(shù)

  更多相關(guān)文章： 大數(shù)據(jù) 海量數(shù)據(jù) 框架設(shè)計(jì) 智能配用電

【摘要】：針對(duì)智能配用電數(shù)據(jù)具有海量、多源異構(gòu)等特點(diǎn),提出一種基于Hadoop的智能配用電數(shù)據(jù)存儲(chǔ)處理的框架設(shè)計(jì)方案。在對(duì)智能配用電數(shù)據(jù)組成進(jìn)行梳理的基礎(chǔ)上,提出了智能配用電的資源、存儲(chǔ)和查詢?nèi)龑訑?shù)據(jù)存儲(chǔ)框架。其中,資源層采用Hadoop集群架構(gòu),結(jié)合電力系統(tǒng)的行業(yè)特色,完成IT存儲(chǔ)資源管理;存儲(chǔ)層則先采用XML技術(shù)進(jìn)行數(shù)據(jù)預(yù)處理,使非結(jié)構(gòu)化數(shù)據(jù)歸一化,然后利用No SQL數(shù)據(jù)庫(kù)通過(guò)Map和Reduce的有效結(jié)合,完成海量數(shù)據(jù)的快速存儲(chǔ);查詢層利用Top-k檢索技術(shù),實(shí)現(xiàn)海量數(shù)據(jù)的快速查尋。該設(shè)計(jì)方案能夠?qū)Y(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一存儲(chǔ),可為智能配用電大數(shù)據(jù)技術(shù)的應(yīng)用提供基礎(chǔ)支撐。
【作者單位】： 天津大學(xué)電氣與自動(dòng)化工程學(xué)院;河北工業(yè)大學(xué)電氣工程學(xué)院;國(guó)網(wǎng)上海市電力公司;
【關(guān)鍵詞】： 大數(shù)據(jù) 海量數(shù)據(jù) 框架設(shè)計(jì) 智能配用電
【基金】：國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)資助項(xiàng)目(2015AA050203)
【分類號(hào)】：TM76
【正文快照】： 0引言隨著智能電網(wǎng)建設(shè)的推進(jìn),智能配用電的快速建模、仿真等高級(jí)應(yīng)用技術(shù)[1]以及云計(jì)算、互聯(lián)網(wǎng)技術(shù)等在電力系統(tǒng)中得到了越來(lái)越多的應(yīng)用。這些新興技術(shù)的應(yīng)用需要大量基礎(chǔ)的輸入數(shù)據(jù),與傳統(tǒng)的配電網(wǎng)潮流計(jì)算、短路計(jì)算等穩(wěn)態(tài)分析相比,數(shù)據(jù)形式從一個(gè)時(shí)間斷面變成一段時(shí)間(一

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 崔寶娣;;企業(yè)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)應(yīng)用分析[J];電力信息化;2008年09期

2 王益民,崔慶,馮存華;“數(shù)字黃河”工程數(shù)據(jù)存儲(chǔ)與管理系統(tǒng)建設(shè)[J];人民黃河;2003年08期

3 林秀華;;一種基于云計(jì)算的安全數(shù)據(jù)存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)[J];企業(yè)技術(shù)開(kāi)發(fā);2012年10期

4 段卓平;張菊蘭;黃正平;蓋峰;;一種新穎的可重構(gòu)數(shù)據(jù)存儲(chǔ)壓力儀[J];北京理工大學(xué)學(xué)報(bào);2007年09期

5 趙艷妮;郭華磊;馬曉榮;;大型企業(yè)分布式數(shù)據(jù)存儲(chǔ)模式[J];硅谷;2010年16期

6 ;智能“創(chuàng)可貼”首次實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)[J];企業(yè)技術(shù)開(kāi)發(fā);2014年10期

7 楊俊;網(wǎng)格環(huán)境下的數(shù)據(jù)存儲(chǔ)研究[J];哈爾濱商業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2005年04期

8 王瑞云;劉琳;劉越;;數(shù)據(jù)存儲(chǔ)自動(dòng)化管理虛擬化技術(shù)[J];黑龍江水利科技;2009年01期

9 高祥濤;陳寧;胡金龍;;江蘇省水利廳數(shù)據(jù)存儲(chǔ)體系架構(gòu)淺析[J];江蘇水利;2009年03期

10 ;美開(kāi)發(fā)出數(shù)據(jù)存儲(chǔ)新技術(shù)[J];企業(yè)技術(shù)開(kāi)發(fā);2009年05期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 孫崢皓;汪宏f;閻巖;岑小鋒;鄧志均;;淺談信息化戰(zhàn)爭(zhēng)對(duì)大數(shù)據(jù)存儲(chǔ)與分析的要求及對(duì)策[A];2013第一屆中國(guó)指揮控制大會(huì)論文集[C];2013年

2 張沁川;王厚軍;;基于大容量閃存的數(shù)據(jù)存儲(chǔ)與管理[A];2008中國(guó)儀器儀表與測(cè)控技術(shù)進(jìn)展大會(huì)論文集（Ⅲ）[C];2008年

3 霍躍華;;IP SAN在煤炭企業(yè)數(shù)據(jù)存儲(chǔ)的應(yīng)用研究[A];煤礦自動(dòng)化與信息化——第20屆全國(guó)煤礦自動(dòng)化與信息化學(xué)術(shù)會(huì)議暨第2屆中國(guó)煤礦信息化與自動(dòng)化高層論壇論文集[C];2010年

4 盛磊;李美華;程林;;一種軋鋼過(guò)程數(shù)據(jù)存儲(chǔ)方法[A];全國(guó)冶金自動(dòng)化信息網(wǎng)2014年會(huì)論文集[C];2014年

5 王文峰;李佳;;芻議信息系統(tǒng)數(shù)據(jù)存儲(chǔ)與備份系統(tǒng)的構(gòu)建方式[A];2011年云南電力技術(shù)論壇論文集（入選部分）[C];2011年

6 張艷秋;李建中;楊艷;張兆功;;混合負(fù)載多媒體服務(wù)器的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)提交[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

7 王淑江;;煙臺(tái)日?qǐng)?bào)傳媒集團(tuán)存儲(chǔ)體系規(guī)劃[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)五屆一次理事會(huì)暨學(xué)術(shù)年會(huì)論文集（上篇）[C];2009年

8 ;Wallstor網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的新技術(shù)應(yīng)用[A];江蘇省微型電腦應(yīng)用協(xié)會(huì)產(chǎn)學(xué)研成果交流會(huì)會(huì)議資料[C];2010年

9 韋大偉;;分布式數(shù)據(jù)存儲(chǔ)中的機(jī)密性保護(hù)[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

10 韓德志;;內(nèi)網(wǎng)數(shù)據(jù)存儲(chǔ)安全關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 中國(guó)惠普公司網(wǎng)絡(luò)存儲(chǔ)事業(yè)部技術(shù)顧問(wèn) 周志峰;數(shù)據(jù)存儲(chǔ)面臨七大挑戰(zhàn)[N];計(jì)算機(jī)世界;2001年

2 本報(bào)記者 郭濤;中興通訊打造安全高效的大數(shù)據(jù)存儲(chǔ)[N];中國(guó)計(jì)算機(jī)報(bào);2013年

3 本報(bào)記者 陳巍巍;數(shù)據(jù)存儲(chǔ) 進(jìn)化正當(dāng)時(shí)[N];計(jì)算機(jī)世界;2013年

4 本報(bào)記者 黃銳;綠源巢:大數(shù)據(jù)存儲(chǔ)弄潮兒[N];東莞日?qǐng)?bào);2014年

5 毛玲玲 吳非;數(shù)據(jù)存儲(chǔ) 安全為重[N];解放軍報(bào);2014年

6 本報(bào)記者 郭濤;華為存儲(chǔ)：高端存儲(chǔ)、大數(shù)據(jù)存儲(chǔ)齊頭并進(jìn)[N];中國(guó)計(jì)算機(jī)報(bào);2013年

7 本報(bào)記者 方慧玲;糾刪碼技術(shù)：大數(shù)據(jù)存儲(chǔ)的“安全衛(wèi)士”[N];江蘇科技報(bào);2014年

8 ;培養(yǎng)皿中的數(shù)據(jù)存儲(chǔ)[N];網(wǎng)絡(luò)世界;2007年

9 ;2010年中小企業(yè)數(shù)據(jù)存儲(chǔ)市場(chǎng)六大趨勢(shì)[N];網(wǎng)絡(luò)世界;2010年

10 本報(bào)實(shí)習(xí)記者 陳勛燕;數(shù)據(jù)存儲(chǔ)網(wǎng)絡(luò)凸現(xiàn)商機(jī) 上海郵通轉(zhuǎn)型前景看好[N];通信信息報(bào);2002年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前3條

1 付松齡;分布式在線社交網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)及優(yōu)化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2014年

2 張杰;一種高速數(shù)據(jù)存儲(chǔ)方法的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2013年

3 付永忠;基于AFM和硫系相變材料的超高密度數(shù)據(jù)存儲(chǔ)機(jī)理研究[D];江蘇大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 葛佳;P2P網(wǎng)絡(luò)信譽(yù)數(shù)據(jù)存儲(chǔ)與恢復(fù)方法的研究與實(shí)現(xiàn)[D];昆明理工大學(xué);2015年

2 潘陽(yáng);基于Hadoop技術(shù)在分布式數(shù)據(jù)存儲(chǔ)中的應(yīng)用研究[D];大連海事大學(xué);2015年

3 秦崢惠;基于Leveldb的企業(yè)級(jí)大數(shù)據(jù)集群化存儲(chǔ)設(shè)計(jì)與實(shí)現(xiàn)[D];遼寧科技大學(xué);2015年

4 吉瑛;基于MongoDB的團(tuán)隊(duì)協(xié)作數(shù)據(jù)存儲(chǔ)方案研究與實(shí)現(xiàn)[D];中國(guó)科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院);2015年

5 姜威靈;CT仿真數(shù)據(jù)存儲(chǔ)與高速傳輸裝置設(shè)計(jì)[D];東北大學(xué);2014年

6 方頎;基于行數(shù)據(jù)存儲(chǔ)的CBCT圖像重建FPGA電路的優(yōu)化與設(shè)計(jì)[D];哈爾濱工業(yè)大學(xué);2015年

7 張路路;基于MongoDB的大數(shù)據(jù)存儲(chǔ)方法研究與應(yīng)用[D];成都理工大學(xué);2015年

8 張磊;基于Hadoop分布式數(shù)據(jù)存儲(chǔ)傳感設(shè)備平臺(tái)的描述[D];南京郵電大學(xué);2015年

9 賈新宇;基于云計(jì)算的GIS柵格數(shù)據(jù)存儲(chǔ)與算法研究[D];吉林大學(xué);2015年

10 李青;科技云平臺(tái)的數(shù)據(jù)存儲(chǔ)管理技術(shù)研究[D];北方工業(yè)大學(xué);2016年

，

本文編號(hào)：613330