本文關(guān)鍵詞：試驗(yàn)數(shù)據(jù)管理平臺云存儲服務(wù)的研究與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著信息化水平的提升，中國的航天科技發(fā)展日新月異，航天信息業(yè)也取得了跨越式發(fā)展。在對時(shí)空的探索中，航天數(shù)據(jù)有著至關(guān)重要的作用，它是分析的基礎(chǔ)，實(shí)踐的基石。當(dāng)前航天數(shù)據(jù)高速、海量的發(fā)展趨勢對數(shù)據(jù)的存儲、查詢和分析都提出了更高的要求。 本文介紹了基于Hadoop的試驗(yàn)數(shù)據(jù)管理平臺，該平臺采用HDFS分布式文件系統(tǒng)和HBase分布式數(shù)據(jù)庫綜合存儲的方式提供航天試驗(yàn)數(shù)據(jù)的云端存儲和計(jì)算服務(wù)。本文設(shè)計(jì)了HBase+HDFS的綜合存儲方式來適應(yīng)不同的數(shù)據(jù)類型和不同的用戶需求，并在HBase和HDFS上實(shí)現(xiàn)一致的查詢和計(jì)算服務(wù)；通過中間層以SQL語句的方式訪問HBase，采用多線程實(shí)現(xiàn)HBase上數(shù)據(jù)的高速導(dǎo)入、查詢和計(jì)算；對HBase和HDFS設(shè)計(jì)統(tǒng)一的緩存層，并制定有效的緩存策略，提高數(shù)據(jù)查詢速率。最后通過實(shí)驗(yàn)對試驗(yàn)數(shù)據(jù)管理平臺的功能和性能進(jìn)行驗(yàn)證，結(jié)果表明該平臺可以滿足項(xiàng)目需求，提供高效的云端存儲和計(jì)算服務(wù)。
【關(guān)鍵詞】：云存儲 分布式數(shù)據(jù)庫 分布式文件系統(tǒng) 緩存
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333;TP311.13
【目錄】：

• 摘要3-4
• Abstract4-7
• 第一章 緒論7-15
• 1.1 研究背景7-8
• 1.2 存儲技術(shù)研究現(xiàn)狀8-12
• 1.3 論文主要工作12
• 1.4 論文的組織結(jié)構(gòu)12-15
• 第二章 分布式存儲相關(guān)技術(shù)15-23
• 2.1 開源框架 Hadoop 介紹15-21
• 2.1.1 Hadoop 概述15
• 2.1.2 分布式文件系統(tǒng) HDFS15-17
• 2.1.3 分布式數(shù)據(jù)庫 HBase17-21
• 2.2 HBase 的 SQL 接口 Phoenix21-23
• 第三章 系統(tǒng)總體框架分析與設(shè)計(jì)23-29
• 3.1 系統(tǒng)需求分析23
• 3.2 系統(tǒng)設(shè)計(jì)目標(biāo)23-24
• 3.3 系統(tǒng)設(shè)計(jì)原則24-25
• 3.4 系統(tǒng)模塊劃分25-29
• 第四章 云存儲服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)29-59
• 4.1 存儲服務(wù)整體結(jié)構(gòu)29-30
• 4.2 HBase 存儲服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)30-49
• 4.2.1 數(shù)據(jù)庫連接池31-34
• 4.2.2 Access 數(shù)據(jù)庫的導(dǎo)入34-37
• 4.2.3 條件查詢和列的計(jì)算37-44
• 4.2.4 數(shù)據(jù)的定量查詢44-49
• 4.3 緩存層的設(shè)計(jì)與實(shí)現(xiàn)49-59
• 4.3.1 緩存的提出49-50
• 4.3.2 緩存的數(shù)據(jù)結(jié)構(gòu)50-52
• 4.3.3 緩存的策略52-54
• 4.3.4 緩存的實(shí)現(xiàn)54-56
• 4.3.5 HBase 對緩存的支持56
• 4.3.6 HDFS 對緩存的支持56-59
• 第五章 測試與驗(yàn)證59-65
• 5.1 實(shí)驗(yàn)環(huán)境配置59-60
• 5.2 Access 數(shù)據(jù)導(dǎo)入的測試60
• 5.3 HBase 上基于列的計(jì)算的測試60-63
• 5.4 HBase 上定量查詢的測試63
• 5.5 HBase 上條件查詢和采樣的測試63-64
• 5.6 實(shí)驗(yàn)小結(jié)64-65
• 第六章 總結(jié)與展望65-67
• 6.1 本文工作總結(jié)65
• 6.2 進(jìn)一步研究方向65-67
• 致謝67-69
• 參考文獻(xiàn)69-71

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 吳光榮;柳書濤;章劍雄;;基于ZigBee的無線傳感器網(wǎng)絡(luò)數(shù)據(jù)管理平臺[J];電子科技;2009年02期

2 周敏珍;;構(gòu)建統(tǒng)一數(shù)據(jù)管理平臺[J];福建電腦;2010年06期

3 陳德旺;魏天磊;侯贊;;嵌入式數(shù)字軌道地圖數(shù)據(jù)管理平臺的研究與設(shè)計(jì)[J];鐵路計(jì)算機(jī)應(yīng)用;2010年07期

4 倪計(jì)民;周童;葉年業(yè);石秀勇;;基于發(fā)動機(jī)CAE的數(shù)據(jù)平臺構(gòu)建[J];工業(yè)工程;2011年01期

5 唐飛;熊運(yùn)余;楊璇;;基于SOA的空管數(shù)據(jù)管理平臺研究與實(shí)現(xiàn)[J];微計(jì)算機(jī)應(yīng)用;2009年05期

6 遲巖;耿亮;黃種明;李葉妮;;基于異構(gòu)體結(jié)構(gòu)的低壓配電智能監(jiān)控系統(tǒng)設(shè)計(jì)[J];遼寧工程技術(shù)大學(xué)學(xué)報(bào);2007年01期

7 周韻;王志平;;無線傳輸在實(shí)時(shí)水位監(jiān)測系統(tǒng)中的應(yīng)用[J];電子技術(shù)應(yīng)用;2007年03期

8 文必龍;王志寶;王琳琳;馮文征;;基于模型驅(qū)動的軟件集成平臺研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2007年23期

9 張鵬;;數(shù)據(jù)激增何以解憂?[J];通信世界;2011年16期

10 劉憲軍;合理設(shè)計(jì) 充分利用網(wǎng)絡(luò)資源[J];中國計(jì)算機(jī)用戶;2000年14期

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 中天國際控股有限公司　劉東海;銀行業(yè)IT的70％[N];網(wǎng)絡(luò)世界;2005年

2 ;工作組級的投入 企業(yè)級的回報(bào)[N];計(jì)算機(jī)世界;2003年

3 ;工作組級的投入 企業(yè)級的回報(bào)[N];計(jì)算機(jī)世界;2003年

4 ;Sybase ASE12．5．1[N];中國計(jì)算機(jī)報(bào);2003年

5 記者 李丹;環(huán)保合作達(dá)成廣泛共識[N];四川日報(bào);2005年

6 ;新奧特民族視頻產(chǎn)品名揚(yáng)BIRTV[N];中國計(jì)算機(jī)報(bào);2003年

7 CommVault公司 林曉明;CommVault D2D2T技術(shù)[N];計(jì)算機(jī)世界;2005年

8 陳友梅;Linux戰(zhàn)役瞄向中端市場[N];中國計(jì)算機(jī)報(bào);2003年

9 ;IBM DB2：業(yè)界一致的選擇[N];網(wǎng)絡(luò)世界;2001年

10 CPW記者　張振;Sybase、Turbolinux、惠普聯(lián)手打中小企業(yè)數(shù)據(jù)管理組合拳[N];電腦商報(bào);2004年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 李筧列;流程企業(yè)模型與數(shù)據(jù)管理研究[D];浙江大學(xué);2009年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前9條

1 唐建成;基于WSN的城市水資源數(shù)據(jù)管理平臺的研究與應(yīng)用[D];西安工業(yè)大學(xué);2014年

2 楊靜;試驗(yàn)數(shù)據(jù)管理平臺云存儲服務(wù)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

3 張金才;設(shè)計(jì)企業(yè)管理信息系統(tǒng)的設(shè)計(jì)與應(yīng)用研究[D];天津大學(xué);2004年

4 陳振權(quán);以SLA為中心的網(wǎng)絡(luò)運(yùn)行監(jiān)測系統(tǒng)數(shù)據(jù)管理平臺設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2009年

5 周杰;海上地震勘探多纜采集系統(tǒng)主控軟件研究與設(shè)計(jì)[D];中國科學(xué)技術(shù)大學(xué);2009年

6 彭俊;基于J2EE架構(gòu)的湖南國稅征管數(shù)據(jù)管理平臺的設(shè)計(jì)與實(shí)現(xiàn)[D];中南大學(xué);2006年

7 王凱;面向SLA的網(wǎng)絡(luò)運(yùn)行監(jiān)測系統(tǒng)[D];電子科技大學(xué);2008年

8 魏海波;FQJ—108天然氣計(jì)量專用系統(tǒng)[D];重慶大學(xué);2002年

9 魏祖寬;FIC-2000天然氣流量計(jì)量系統(tǒng)[D];合肥工業(yè)大學(xué);2003年

  本文關(guān)鍵詞：試驗(yàn)數(shù)據(jù)管理平臺云存儲服務(wù)的研究與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

，

本文編號：479060