【摘要】：研究并實(shí)現(xiàn)電力業(yè)務(wù)非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲平臺。詳細(xì)描述非結(jié)構(gòu)化數(shù)據(jù)存儲平臺的主要實(shí)現(xiàn)技術(shù)和方案。搭建滿足測試需要的評測環(huán)境,測試結(jié)果表明存儲平臺架構(gòu)方案的有效性和可行性。該平臺滿足了上層各業(yè)務(wù)系統(tǒng)在非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域的使用需求,可全面服務(wù)電力公司提出的"三集五大"戰(zhàn)略,為后續(xù)非結(jié)構(gòu)化平臺支持分布式存儲及架構(gòu)適應(yīng)性優(yōu)化全面改造提供依據(jù)。
【圖文】：

到?主流分布式存儲技術(shù)的能力特征及適用性。1非結(jié)構(gòu)化數(shù)據(jù)存儲平臺架構(gòu)電網(wǎng)實(shí)時數(shù)據(jù)種類多、數(shù)量大，且數(shù)據(jù)格式不統(tǒng)一，為典型的非結(jié)構(gòu)化數(shù)據(jù)，其操作方式多為一次寫入、多次讀取，以便滿足電力設(shè)備故障分析、電力自動化設(shè)備優(yōu)化調(diào)整等方面的需要。為適應(yīng)實(shí)時電力數(shù)據(jù)處理的要求，支持多種存儲架構(gòu)思路和分布式存儲技術(shù)，提升數(shù)據(jù)查詢優(yōu)化性能，該存儲系統(tǒng)所配置的基礎(chǔ)軟硬件設(shè)施包括MongoDB數(shù)據(jù)庫、Oracle數(shù)據(jù)庫、SAN存儲、NAS存儲以及廉價PCServer存儲服務(wù)器等［8］，所設(shè)計(jì)的非結(jié)構(gòu)化數(shù)據(jù)云存儲平臺架構(gòu)如圖1所示。圖1非結(jié)構(gòu)化數(shù)據(jù)存儲平臺架構(gòu)邏輯部署圖圖1中，數(shù)據(jù)存儲層是存儲平臺的基礎(chǔ)，可實(shí)現(xiàn)電力數(shù)據(jù)的高速、并行、實(shí)時處理，其包括元數(shù)據(jù)處理單元、文件路徑及權(quán)限元數(shù)據(jù)處理單元、分布式存儲計(jì)算單元、集中式存儲計(jì)算單元等［9］。該層對外提供不同的存儲服務(wù)，每種服務(wù)的數(shù)據(jù)被統(tǒng)一存儲在平臺中，構(gòu)成一個數(shù)據(jù)池［10］。傳統(tǒng)的單服務(wù)器的數(shù)據(jù)組織方式難以滿足多用戶環(huán)境下的存儲容量和吞吐性能需求;基于P2P架構(gòu)的數(shù)據(jù)組織，節(jié)點(diǎn)數(shù)龐大，并且需要復(fù)雜的編碼算法保證數(shù)據(jù)的可靠性;當(dāng)用戶數(shù)量非常大時，基于多存儲節(jié)點(diǎn)的數(shù)據(jù)組織方式能更好地滿足在線存儲服務(wù)的需求。搭建分布式數(shù)據(jù)中心，能夠?yàn)椴煌瑓^(qū)域的用戶提供更好的服務(wù)。在該層中，采用2種存儲模式，即集中式存儲與分布式存儲。集中式存儲(如SAN、NAS)主要考慮了早期的存儲方式，為了與其進(jìn)行合理、良好的兼容，故對于某些電力核心數(shù)據(jù)采用集中式存儲方式。利用Ｒiak-CS存儲來采集終端、電力設(shè)備等多方面的大量小文件，實(shí)現(xiàn)多個服務(wù)器分布式存儲;而各文件的文件路徑等管理信息則用內(nèi)存KV數(shù)據(jù)庫Ｒiak存儲，在進(jìn)行讀娶改寫等操作時，先從Ｒiak?

有效傳輸，其最長路徑上主要包括2個步驟:文件流的傳輸，文件路徑的獲取(存儲)及文件相關(guān)權(quán)限的校驗(yàn)。NameServer組件是實(shí)現(xiàn)快速(毫秒級別)文件路徑存儲及權(quán)限校驗(yàn)的關(guān)鍵。該組件基于內(nèi)存KV數(shù)據(jù)庫，存儲了所有的文件目錄信息，，權(quán)限驗(yàn)證等信息，可提供高并發(fā)、低延遲的數(shù)據(jù)訪問能力，是實(shí)現(xiàn)高吞吐傳輸服務(wù)的關(guān)鍵之一［14］。組件內(nèi)采用Ｒiak作為KV數(shù)據(jù)庫，負(fù)責(zé)以KV的形式保存文件路徑及權(quán)限驗(yàn)證相關(guān)信息;在Ｒiak上部署計(jì)算單元，為上層提供遠(yuǎn)程對象調(diào)用服務(wù)。以下載文件為例，其文件路徑獲取與存儲流程如圖2所示。圖2NameServer組件工作流程認(rèn)證與授權(quán)功能為文件及元數(shù)據(jù)服務(wù)提供基本的認(rèn)證授權(quán)支持，是元數(shù)據(jù)管理組件提供的基本輔助功能。基于權(quán)限體系結(jié)構(gòu)，其細(xì)化文件上傳、下載過程中的認(rèn)證與授權(quán)過程如圖3、圖4所示。圖3文件上傳過程的認(rèn)證與授權(quán)流程圖4文件下載過程的認(rèn)證與授權(quán)流程如圖5所示，元數(shù)據(jù)包括公共元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)2類，在總體架構(gòu)設(shè)計(jì)中，由MetaDataServer提供元數(shù)據(jù)管理，以實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)基本特征、上下文信息等不需要在NameServer中保存的信息，包括業(yè)務(wù)系統(tǒng)上傳的元數(shù)據(jù)、公共元數(shù)據(jù)、文件MD5等［15］。MetaDataServer組件由3部分組成，即基于高性能遠(yuǎn)程對象傳輸技術(shù)提供對象ＲPC調(diào)用接口的MetaServer、文檔數(shù)據(jù)庫適配器MongoAdapter和實(shí)現(xiàn)元數(shù)據(jù)的存儲與管理的MongoDB數(shù)據(jù)庫。圖5MetaDataServer組件設(shè)計(jì)框圖2．2異構(gòu)存儲支持方案設(shè)計(jì)為實(shí)現(xiàn)平臺對分布式存儲的支持，同時保持對SAN/NAS等現(xiàn)有主流的存儲基礎(chǔ)設(shè)施的管理，異構(gòu)存儲支持方案的設(shè)計(jì)內(nèi)容主要包括2部分:支持分布式存儲技術(shù)及集中式的SAN/NAS存儲技術(shù)。該平臺采用開源的對象存儲技術(shù)產(chǎn)品Ｒiak-CS作為分布式PCServer集群的管理組?
【作者單位】： 福建億榕信息技術(shù)有限公司;國網(wǎng)浙江省電力公司;
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王巖;;網(wǎng)絡(luò)信息存儲平臺的開發(fā)與應(yīng)用[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2013年10期

2 筱月;締造智能型網(wǎng)絡(luò)存儲平臺[J];中國計(jì)算機(jī)用戶;2003年28期

3 潘永東;;高校云存儲平臺建設(shè)的研究和規(guī)劃[J];電子技術(shù)與軟件工程;2013年23期

4 劉華日;陳志民;劉小波;葉志蟬;谷豐;;實(shí)驗(yàn)中心信息存儲平臺的改進(jìn)與應(yīng)用[J];實(shí)驗(yàn)室科學(xué);2013年05期

5 ;富士通推出全新存儲平臺[J];互聯(lián)網(wǎng)周刊;2006年22期

6 方延風(fēng);;提高福建省臺灣文獻(xiàn)信息中心存儲平臺性能的思考[J];情報探索;2010年11期

7 ;存儲平臺三維擴(kuò)展時代到來[J];中國金融電腦;2011年05期

8 ;存儲平臺三維擴(kuò)展時代[J];微電腦世界;2011年08期

9 ;基于HP StorageWorks的綠色存儲平臺[J];計(jì)算機(jī)與網(wǎng)絡(luò);2008年15期

10 馬天蔚;;150萬誰支撐——惠普為上海熱線計(jì)費(fèi)系統(tǒng)搭建存儲平臺[J];每周電腦報;2001年61期

相關(guān)會議論文 前5條

1 蔡靈靈;張艷萍;;新華社統(tǒng)一存儲平臺的設(shè)計(jì)與實(shí)踐[A];中國新聞技術(shù)工作者聯(lián)合會五屆一次理事會暨學(xué)術(shù)年會論文集（上篇）[C];2009年

2 王猛;蔡靈靈;;異構(gòu)存儲平臺統(tǒng)一監(jiān)控的設(shè)計(jì)與實(shí)現(xiàn)[A];中國新聞技術(shù)工作者聯(lián)合會五屆一次理事會暨學(xué)術(shù)年會論文集（上篇）[C];2009年

3 郭嘉;;以云存儲平臺助力電力企業(yè)信息化[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

4 陳志文;;數(shù)據(jù)集中安全存儲平臺研制[A];中國工程物理研究院科技年報(2012年版)[C];2012年

5 丁嵩;田敬;陳東;吳剛;代亞非;;UPStore:一個開放的P2P存儲平臺[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

相關(guān)重要報紙文章 前10條

1 綦悠悠;黑龍江聯(lián)通打造網(wǎng)絡(luò)存儲平臺[N];人民郵電;2007年

2 江蘇省電力公司電力科學(xué)研究院 趙新冬 王勤 戴威;電力行業(yè)存儲平臺集中管理設(shè)計(jì)[N];中國信息化周報;2014年

3 聞風(fēng);浪潮搭建高品質(zhì)存儲平臺[N];政府采購信息報;2005年

4 ;富士通展示最新存儲平臺[N];人民郵電;2007年

5 日立數(shù)據(jù)系統(tǒng)公司(HDS)副總裁兼首席技術(shù)官 Hubert Yoshida;大數(shù)據(jù)存儲平臺必須具有彈性[N];中國計(jì)算機(jī)報;2012年

6 本報記者 張廣彬;存儲平臺 通用為王[N];計(jì)算機(jī)世界;2004年

7 本報記者 霍皓迪;建設(shè)永續(xù)運(yùn)行的存儲平臺[N];通信產(chǎn)業(yè)報;2002年

8 蔡彭年;浪潮成功構(gòu)建電子繳稅入庫存儲平臺[N];中國稅務(wù)報;2007年

9 李佳師;微軟試水存儲平臺[N];中國電子報;2003年

10 電腦商報記者 劉一冰;“兼”濟(jì)天下 有“容”乃大[N];電腦商報;2010年

相關(guān)碩士學(xué)位論文 前10條

1 王雅山;云存儲平臺中加密數(shù)據(jù)的多關(guān)鍵字排序搜索技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2015年

2 張宇翔;指紋支付系統(tǒng)中海量指紋數(shù)據(jù)云存儲平臺的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)[D];浙江師范大學(xué);2015年

3 金晨;警務(wù)信息化系統(tǒng)中云存儲平臺的設(shè)計(jì)和實(shí)現(xiàn)[D];電子科技大學(xué);2013年

4 郝偉;湖南移動網(wǎng)管集中云存儲平臺搭建與測試[D];中南大學(xué);2010年

5 何穎鵬;非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲平臺的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2013年

6 田原;云存儲中存儲平臺與數(shù)據(jù)安全關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

7 劉亮成;小型云存儲平臺管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

8 王磊;一種高性能HDFS存儲平臺的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2013年

9 汪銳;基于Hadoop的公安系統(tǒng)信息存儲平臺[D];上海交通大學(xué);2012年

10 張興;基于Hadoop的云存儲平臺的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

本文編號：2543850