【摘要】：為解決氣象觀察數(shù)據(jù)的頻繁寫入和大數(shù)據(jù)存儲的問題,設(shè)計(jì)私有云存儲模型。該模型分為用戶訪問接口層、元數(shù)據(jù)存儲層、實(shí)體數(shù)據(jù)存儲層和關(guān)系數(shù)據(jù)庫4層結(jié)構(gòu)。采用HDFS集群分布式文件系統(tǒng),實(shí)現(xiàn)氣象大數(shù)據(jù)的存儲和高效查詢與搜索業(yè)務(wù);使用關(guān)系數(shù)據(jù)庫系統(tǒng),實(shí)現(xiàn)數(shù)據(jù)采集端頻繁數(shù)據(jù)寫入的業(yè)務(wù)。實(shí)驗(yàn)結(jié)果表明,該平臺實(shí)現(xiàn)了海量氣象數(shù)據(jù)存儲、查詢統(tǒng)計(jì)和屬性管理,克服了云存儲單條插入效率低的缺點(diǎn),較好滿足了氣象部門大數(shù)據(jù)存儲和管理的需求。
[Abstract]:In order to solve the problem of frequent writing of meteorological observation data and big data storage, a private cloud storage model was designed. The model is divided into four layers: user access interface layer, metadata storage layer, entity data storage layer and relational database. The HDFS cluster distributed file system is used to realize the storage and efficient query and search of meteorological big data, and the relational database system is used to realize the business of frequent data writing at the data collection end. The experimental results show that the platform realizes massive meteorological data storage, query statistics and attribute management, overcomes the low efficiency of cloud storage single insert, and meets the requirement of big data storage and management in meteorological department.
【作者單位】： 內(nèi)蒙古工業(yè)大學(xué)信息工程學(xué)院;
【基金】：內(nèi)蒙古自然科學(xué)基金項(xiàng)目(2010MS0913) 內(nèi)蒙古自治區(qū)高等學(xué)�？茖W(xué)研究基金項(xiàng)目(NJZY12052) 內(nèi)蒙古工業(yè)大學(xué)重點(diǎn)基金項(xiàng)目(ZD201118)
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲平臺設(shè)計(jì)與開發(fā)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

2 張迪;朱立谷;侯振宇;張福;曾賽峰;;基于WEB的移動端云存儲技術(shù)研究[J];計(jì)算機(jī)工程與應(yīng)用;2010年36期

3 李超;張明博;邢春曉;胡勁松;;列存儲數(shù)據(jù)庫關(guān)鍵技術(shù)綜述[J];計(jì)算機(jī)科學(xué);2010年12期

4 張建勛;古志民;鄭超;;云計(jì)算研究進(jìn)展綜述[J];計(jì)算機(jī)應(yīng)用研究;2010年02期

5 楊志豪;趙太銀;姚興苗;李磊;;一種適應(yīng)數(shù)據(jù)與計(jì)算密集型任務(wù)的私有云系統(tǒng)實(shí)現(xiàn)研究[J];計(jì)算機(jī)應(yīng)用研究;2011年02期

6 劉金芝;余丹;朱率率;;一種新的云存儲服務(wù)模型研究[J];計(jì)算機(jī)應(yīng)用研究;2011年05期

7 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲和讀取的方法[J];計(jì)算機(jī)應(yīng)用與軟件;2012年11期

8 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

9 沈文海;;從云計(jì)算看氣象部門未來的信息化趨勢[J];氣象科技進(jìn)展;2012年02期

10 竇以文;盧俐;劉旭林;張代萍;;氣象數(shù)據(jù)存貯管理系統(tǒng)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2011年07期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 魏東澤;來學(xué)嘉;;一種安全的高可靠性P2P云存儲備份模型初探參考文獻(xiàn)[J];信息安全與技術(shù);2011年09期

2 王繼鵬;;高等教育云計(jì)算服務(wù)平臺構(gòu)建策略初探[J];安陽師范學(xué)院學(xué)報(bào);2011年05期

3 劉真;劉峰;張寶鵬;馬飛;高石玉;;云計(jì)算模型在鐵路大規(guī)模數(shù)據(jù)處理中的應(yīng)用[J];北京交通大學(xué)學(xué)報(bào);2010年05期

4 魏翔;陳俊侃;;淺談GIS的應(yīng)用與發(fā)展[J];北京測繪;2011年02期

5 徐小龍;程春玲;熊婧夷;王汝傳;;一種基于移動Agent的云端計(jì)算任務(wù)安全分割與分配算法[J];北京理工大學(xué)學(xué)報(bào);2011年08期

6 李建卓;;云計(jì)算及其發(fā)展綜述[J];寶雞文理學(xué)院學(xué)報(bào)(自然科學(xué)版);2010年03期

7 董曉霞;呂廷杰;;云計(jì)算研究綜述及未來發(fā)展[J];北京郵電大學(xué)學(xué)報(bào)(社會科學(xué)版);2010年05期

8 鄧仲華;朱秀芹;;云計(jì)算環(huán)境下的隱私權(quán)保護(hù)初探[J];圖書與情報(bào);2010年04期

9 馬曉亭;陳臣;;基于成本收益分析的云計(jì)算環(huán)境下數(shù)字圖書館建設(shè)研究[J];圖書與情報(bào);2011年06期

10 盧民;;基于云計(jì)算的數(shù)字博物館信息化建設(shè)研究[J];博物館研究;2012年01期

相關(guān)會議論文 前10條

1 萬丹丹;王宏;;云計(jì)算在編輯工作中的應(yīng)用探討[A];學(xué)術(shù)期刊編輯學(xué)理論與實(shí)踐[C];2010年

2 郭捷夫;;基于云計(jì)算模型的綠色I(xiàn)T數(shù)據(jù)中心構(gòu)建方案研究[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

3 汪云鳳;李心科;;云服務(wù)環(huán)境下的服務(wù)聚合方法研究[A];2011中國儀器儀表與測控技術(shù)大會論文集[C];2011年

4 張白蘭;楊向紅;李家龍;劉偉;林創(chuàng)燕;邱正能;;物聯(lián)網(wǎng)綜述[A];中國電子學(xué)會第十七屆信息論學(xué)術(shù)年會論文集[C];2010年

5 趙萌;;云計(jì)算及其在移動學(xué)習(xí)模式下應(yīng)用初探[A];計(jì)算機(jī)研究新進(jìn)展（2010）——河南省計(jì)算機(jī)學(xué)會2010年學(xué)術(shù)年會論文集[C];2010年

6 任偉;葉敏;劉宇靚;;云安全的信任管理研究[A];全國計(jì)算機(jī)安全學(xué)術(shù)交流會論文集·第二十五卷[C];2010年

7 叢培民;龔立武;;基于云計(jì)算的網(wǎng)站群架構(gòu)及安全性設(shè)計(jì)與實(shí)踐[A];第26次全國計(jì)算機(jī)安全學(xué)術(shù)交流會論文集[C];2011年

8 周軒;黃璞;;基于云計(jì)算的OMS平臺移動業(yè)務(wù)測試系統(tǒng)[A];中國通信學(xué)會第六屆學(xué)術(shù)年會論文集（上）[C];2009年

9 唐玲;;云計(jì)算及其安全問題的研究[A];Proceedings of 2011 National Teaching Seminar on Cryptography and Information Security(NTS-CIS 2011) Vol.1[C];2011年

10 丁輝;趙煒妹;;基于云計(jì)算應(yīng)用一級部署的研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

相關(guān)博士學(xué)位論文 前10條

1 吳吉義;基于DHT的開放對等云存儲服務(wù)系統(tǒng)研究[D];浙江大學(xué);2011年

2 王鐵軍;非結(jié)構(gòu)化對等網(wǎng)絡(luò)資源定位技術(shù)研究[D];電子科技大學(xué);2010年

3 江頡;面向電子服務(wù)的訪問控制關(guān)鍵技術(shù)研究[D];浙江大學(xué);2010年

4 張澤華;云計(jì)算聯(lián)盟建模及實(shí)現(xiàn)的關(guān)鍵技術(shù)研究[D];云南大學(xué);2010年

5 李錚;多媒體云計(jì)算平臺關(guān)鍵技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2011年

6 康俊鋒;云計(jì)算環(huán)境下高分辨率遙感影像存儲與高效管理技術(shù)研究[D];浙江大學(xué);2011年

7 林云;汽車物流服務(wù)供應(yīng)鏈體系構(gòu)建與應(yīng)用研究[D];重慶大學(xué);2011年

8 朱智強(qiáng);混合云服務(wù)安全若干理論與關(guān)鍵技術(shù)研究[D];武漢大學(xué);2011年

9 方雷;基于云計(jì)算的土地資源服務(wù)高效處理平臺關(guān)鍵技術(shù)探索與研究[D];浙江大學(xué);2011年

10 葛顯龍;面向云配送模式的車輛調(diào)度問題及算法研究[D];重慶大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 孔楠;基于云計(jì)算平臺的商業(yè)服務(wù)模式研究[D];上海外國語大學(xué);2010年

2 康興元;面向模具企業(yè)的注塑模設(shè)計(jì)知識網(wǎng)絡(luò)化管理系統(tǒng)研究[D];大連理工大學(xué);2010年

3 姜健;云計(jì)算在企業(yè)物資供應(yīng)系統(tǒng)的應(yīng)用研究[D];遼寧工程技術(shù)大學(xué);2009年

4 薛師;云計(jì)算與網(wǎng)格計(jì)算的比較研究[D];河南理工大學(xué);2010年

5 劉震宇;基于VMware vSphere4.0的PC服務(wù)器資源池構(gòu)建[D];大連海事大學(xué);2010年

6 梁文迪;一體化資產(chǎn)管理系統(tǒng)中財(cái)務(wù)模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2010年

7 胡清;基于云計(jì)算的券商網(wǎng)絡(luò)營銷服務(wù)平臺研究與設(shè)計(jì)[D];南昌大學(xué);2010年

8 劉榮華;基于P2P的語義Web服務(wù)查找與組合模型研究[D];南昌大學(xué);2010年

9 李嬋;基于云計(jì)算的智能手機(jī)數(shù)據(jù)挖掘平臺的架構(gòu)和實(shí)現(xiàn)[D];武漢理工大學(xué);2010年

10 賀鵬;云計(jì)算的開發(fā)云的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王婉;姚博;周鳴;;FTP服務(wù)器的建立及客戶端的使用[J];河南氣象;2006年01期

2 王海龍;楊忠霞;陳朝輝;呂冬柏;尹英漢;;地市級氣象信息網(wǎng)絡(luò)數(shù)據(jù)庫系統(tǒng)建設(shè)及應(yīng)用[J];氣象與環(huán)境科學(xué);2009年S1期

3 黃鵬;李占山;張永剛;鞠奇;;基于列存儲數(shù)據(jù)庫的壓縮態(tài)數(shù)據(jù)訪問算法[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2009年05期

4 田立中;徐瑞余;周昭濤;;列存儲在數(shù)據(jù)挖掘中的應(yīng)用[J];金融電子化;2008年09期

5 朱率率;楊曉元;張薇;;基于數(shù)據(jù)相關(guān)性的調(diào)度算法[J];計(jì)算機(jī)工程;2010年10期

6 張淑萍;;地市級氣象數(shù)據(jù)庫的設(shè)計(jì)與實(shí)現(xiàn)[J];農(nóng)業(yè)網(wǎng)絡(luò)信息;2009年08期

7 張光衛(wèi);何銳;劉禹;李德毅;陳桂生;;基于云模型的進(jìn)化算法[J];計(jì)算機(jī)學(xué)報(bào);2008年07期

8 李俊,李勇;聯(lián)邦式異構(gòu)數(shù)據(jù)庫應(yīng)用系統(tǒng)的集成框架和實(shí)現(xiàn)技術(shù)的研究[J];計(jì)算機(jī)應(yīng)用研究;2001年04期

9 余華鴻;李穎;張玉川;;數(shù)據(jù)倉庫概述[J];科技信息(科學(xué)教研);2007年13期

10 田敬;代亞非;;P2P持久存儲研究[J];軟件學(xué)報(bào);2007年06期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 梁震,陳新軍;靜態(tài)數(shù)據(jù)關(guān)聯(lián)在關(guān)系數(shù)據(jù)庫中的實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用研究;2000年09期

2 成長生;模糊關(guān)系數(shù)據(jù)庫的推理方法[J];紡織高校基礎(chǔ)科學(xué)學(xué)報(bào);2000年01期

3 徐如燕,李剛,張惠民,魯漢榕;關(guān)系數(shù)據(jù)庫中面向?qū)傩缘姆夯图s簡[J];計(jì)算機(jī)工程與設(shè)計(jì);2000年06期

4 周揚(yáng);關(guān)系數(shù)據(jù)庫對多媒體數(shù)據(jù)的支持[J];南京廣播電視大學(xué)學(xué)報(bào);2000年04期

5 王甲民,姚延濤,沈均毅;映射對象到關(guān)系數(shù)據(jù)庫[J];計(jì)算機(jī)應(yīng)用;2001年01期

6 樊景博,段智毅;關(guān)系數(shù)據(jù)庫的非群集訪問與實(shí)現(xiàn)[J];商洛師范�？茖W(xué)校學(xué)報(bào);2001年04期

7 童立,李曉,馬遠(yuǎn)良;基于關(guān)系數(shù)據(jù)庫的對象數(shù)據(jù)管理方法研究[J];小型微型計(jì)算機(jī)系統(tǒng);2002年04期

8 胡為成;模糊關(guān)系數(shù)據(jù)庫的關(guān)系運(yùn)算[J];巢湖學(xué)院學(xué)報(bào);2002年03期

9 曹大有,周天宏;關(guān)系數(shù)據(jù)庫中索引表達(dá)式的討論[J];福建電腦;2003年11期

10 周桂云;關(guān)系數(shù)據(jù)庫中實(shí)現(xiàn)多對多關(guān)系的數(shù)據(jù)組織探討[J];信息技術(shù);2003年01期

相關(guān)會議論文 前10條

1 李曉瑞;劉剛;張小平;張紅云;馬垣;;關(guān)系數(shù)據(jù)庫中的屬性約簡[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2002年

2 周訓(xùn)偉;鮑泓;;二層單準(zhǔn)關(guān)系數(shù)據(jù)庫(二層單準(zhǔn)知識庫)[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報(bào)告篇）[C];2005年

3 王剛;石樹剛;鄭振楣;;關(guān)系數(shù)據(jù)庫中的模糊數(shù)[A];第九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集(下)[C];1990年

4 汪t熺，

本文編號：2200755