發(fā)布時(shí)間：2017-03-24 12:00

  本文關(guān)鍵詞：基于云計(jì)算的災(zāi)害大數(shù)據(jù)管理方法研究與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著物聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,由各類計(jì)算機(jī)或機(jī)器設(shè)備產(chǎn)生的數(shù)據(jù)量越來越多,已經(jīng)遠(yuǎn)遠(yuǎn)超過了人類的想象,如何有效地存儲和管理物聯(lián)網(wǎng)上的海量數(shù)據(jù)信息已經(jīng)成為了當(dāng)今人們極為關(guān)注的重大問題之一。利用視頻圖像設(shè)備和傳感器組來實(shí)現(xiàn)安全監(jiān)測是物聯(lián)網(wǎng)的重要應(yīng)用之一,由此而采集到的視頻圖像和傳感器信息在后期的災(zāi)害事故反演和分析上能夠提供科學(xué)的數(shù)據(jù)支撐。為了使物聯(lián)網(wǎng)上的這些海量數(shù)據(jù)能夠最大限度地發(fā)揮其潛在價(jià)值,必須以一種有效的方式將其組織存儲。本論文通過研究新興的數(shù)據(jù)存儲方式對比傳統(tǒng)數(shù)據(jù)存儲方式的優(yōu)劣,提出了一種基于云計(jì)算的災(zāi)害大數(shù)據(jù)存儲管理方法,以達(dá)到海量數(shù)據(jù)的快速存儲和讀取能力。本論文以云計(jì)算中代表性最強(qiáng)的Hadoop框架為基礎(chǔ),提出了視頻圖像小文件和傳感器數(shù)據(jù)的存儲管理方法及其理論依據(jù)。本論文最后進(jìn)行了一系列的實(shí)驗(yàn),以驗(yàn)證提出的存儲管理方法,并對比分析了在海量災(zāi)害大數(shù)據(jù)管理方面的性能優(yōu)勢。本論文主要研究和實(shí)現(xiàn)的內(nèi)容有以下幾點(diǎn):①分析了Hadoop框架中的HDFS(Hadoop Distributed File System)文件系統(tǒng)和HBase(Hadoop Database)數(shù)據(jù)庫各自的存儲特點(diǎn)和數(shù)據(jù)讀寫方式,并實(shí)現(xiàn)了以HDFS作為視頻圖像文件存儲、以HBase作為圖像文件元數(shù)據(jù)和傳感器數(shù)據(jù)的持久化存儲的方法,提高了存儲效率。②以HDFS作為文件系統(tǒng)層存儲視頻圖像小文件時(shí),由于HDFS的設(shè)計(jì)初衷是用來處理大文件,存儲海量的圖像小文件會導(dǎo)致Name Node節(jié)點(diǎn)負(fù)載過重而影響hadoop集群的性能。因此,本論文提出了一種新的小文件合并存儲策略,這種存儲策略實(shí)現(xiàn)的是一種小文件緩存合并思想,即每個(gè)小文件在寫入到HDFS之前先將其合并到一個(gè)大文件緩存中,待到緩存寫滿再輸出緩存內(nèi)容到HDFS。寫入時(shí),緩存區(qū)選擇和維護(hù)過程由運(yùn)行在客戶端的小文件預(yù)處理模塊決定,寫入小文件的同時(shí)將其元數(shù)據(jù)信息寫入到HBase;小文件讀取時(shí),先由HBase讀取元數(shù)據(jù)信息,然后根據(jù)元數(shù)據(jù)來讀取實(shí)際文件。③以HBase作為數(shù)據(jù)持久化層存儲小文件的元數(shù)據(jù)和傳感器數(shù)據(jù)。為了滿足時(shí)間序列數(shù)據(jù)的多條件檢索,本論文設(shè)計(jì)了一種利用二級索引實(shí)現(xiàn)反向索引表方法,在滿足多條件查詢需求的同時(shí),也實(shí)現(xiàn)了數(shù)據(jù)存儲和讀取性能之間的平衡。另外,在HBase中集成了Mapreduce,使得HBase具有了統(tǒng)計(jì)分析海量數(shù)據(jù)的能力。④最后進(jìn)行了一系列對比實(shí)驗(yàn),以科學(xué)形象的數(shù)據(jù)表現(xiàn)了本論文提出的HDFS小文件合并算法和基于HBase的二級索引方法,相比較于其它方法在讀寫性能上的改進(jìn)幅度,驗(yàn)證了這兩種數(shù)據(jù)存儲管理方法的正確性。
【關(guān)鍵詞】：大數(shù)據(jù)存儲 HDFS HBase 小文件存儲 文件合并 二級索引 云計(jì)算 Hadoop
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333;TP311.13
【目錄】：

• 摘要5-7
• Abstract7-12
• 第一章 緒論12-18
• 1.1 研究背景12-13
• 1.2 研究內(nèi)容及意義13-14
• 1.3 國內(nèi)外研究現(xiàn)狀14-17
• 1.3.1 云計(jì)算的發(fā)展14-15
• 1.3.2 基于云計(jì)算的數(shù)據(jù)存儲發(fā)展15-17
• 1.4 本論文組織結(jié)構(gòu)17
• 1.5 本章小結(jié)17-18
• 第二章 相關(guān)理論和關(guān)鍵技術(shù)18-33
• 2.1 分布式文件系統(tǒng)18-20
• 2.1.1 分布式文件系統(tǒng)概述18-19
• 2.1.2 分布式文件系統(tǒng)與本地文件系統(tǒng)對比分析19-20
• 2.2 NoSQL數(shù)據(jù)庫20-22
• 2.2.1 NoSQL數(shù)據(jù)庫概述20-21
• 2.2.2 NoSQL與傳統(tǒng)關(guān)系數(shù)據(jù)庫對比分析21-22
• 2.3 HDFS分布式文件系統(tǒng)22-27
• 2.3.1 HDFS體系結(jié)構(gòu)23-24
• 2.3.2 HDFS寫文件24-26
• 2.3.3 HDFS讀文件26-27
• 2.4 HBase數(shù)據(jù)庫27-31
• 2.4.1 HBase架構(gòu)27-29
• 2.4.2 HBase數(shù)據(jù)模型29-31
• 2.5 Mapreduce模型31-32
• 2.6 本章小結(jié)32-33
• 第三章 災(zāi)害大數(shù)據(jù)管理方法研究33-41
• 3.1 擬解決的關(guān)鍵問題33
• 3.2 圖像文件存儲33-35
• 3.2.1 數(shù)據(jù)庫存儲圖像33-34
• 3.2.2 文件系統(tǒng)存儲圖像34
• 3.2.3 兩種存儲方法對比34-35
• 3.3 HDFS小文件問題35-36
• 3.4 小文件處理方法36-39
• 3.4.1 HAR文件36-37
• 3.4.2 SequenceFile37-39
• 3.5 本論文研究思路39
• 3.6 本章小結(jié)39-41
• 第四章 基于HDFS的小文件存儲策略41-50
• 4.1 設(shè)計(jì)思路41-42
• 4.2 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)42-43
• 4.3 小文件緩存合并模型43-44
• 4.4 小文件元數(shù)據(jù)管理44-45
• 4.5 小文件的讀寫45-49
• 4.6 本章小結(jié)49-50
• 第五章 基于HBase的數(shù)據(jù)持久化存儲50-60
• 5.1 時(shí)間序列數(shù)據(jù)50-51
• 5.2 基于HBase的傳感器數(shù)據(jù)存儲51-53
• 5.2.1 系統(tǒng)需求分析51
• 5.2.2 行健設(shè)計(jì)51-53
• 5.3 自定義輔助索引表53-57
• 5.3.1 系統(tǒng)架構(gòu)53-54
• 5.3.2 索引表的建立54-55
• 5.3.3 基于索引表的數(shù)據(jù)檢索55-57
• 5.4 基于Mapreduce的HBase數(shù)據(jù)統(tǒng)計(jì)分析57-58
• 5.5 本章小結(jié)58-60
• 第六章 性能測試與分析60-68
• 6.1 實(shí)驗(yàn)?zāi)康?/span>60
• 6.2 實(shí)驗(yàn)環(huán)境60
• 6.3 測試方法60-61
• 6.4 實(shí)驗(yàn)結(jié)果分析與結(jié)論61-67
• 6.4.1 HDFS性能測試61-64
• 6.4.2 HBase性能測試64-67
• 6.4.3 實(shí)驗(yàn)結(jié)論67
• 6.5 本章小結(jié)67-68
• 總結(jié)與展望68-70
• 參考文獻(xiàn)70-73
• 讀碩士學(xué)位期間取得的研究成果73-74
• 致謝74-75
• 附件75

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 雷亮;曾文碧;;圖像存儲技術(shù)研究[J];重慶科技學(xué)院學(xué)報(bào)(自然科學(xué)版);2009年01期

2 周奇年;陳玲玲;李革;;云計(jì)算與云數(shù)據(jù)管理[J];電信科學(xué);2010年S1期

3 陳強(qiáng)璋;一種高效的二叉查找樹——紅黑樹[J];華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2000年03期

4 高邦仁;;“云”中的亞馬遜[J];互聯(lián)網(wǎng)周刊;2011年17期

5 劉正偉;文中領(lǐng);張海濤;;云計(jì)算和云數(shù)據(jù)管理技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

6 劉強(qiáng);崔莉;陳海明;;物聯(lián)網(wǎng)關(guān)鍵技術(shù)與應(yīng)用[J];計(jì)算機(jī)科學(xué);2010年06期

7 王雪濤;劉偉杰;;分布式文件系統(tǒng)[J];科技信息(學(xué)術(shù)研究);2006年11期

8 趙洋;;淘寶TFS深度剖析[J];數(shù)字化用戶;2013年03期

9 申德榮;于戈;王習(xí)特;聶鐵錚;寇月;;支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J];軟件學(xué)報(bào);2013年08期

10 黃永勤;;國外大數(shù)據(jù)研究熱點(diǎn)及發(fā)展趨勢探析[J];情報(bào)雜志;2014年06期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前5條

1 魏家賓;基于Hadoop的海量交易記錄查詢系統(tǒng)研究[D];南京郵電大學(xué);2013年

2 卓海藝;基于HBase的海量數(shù)據(jù)實(shí)時(shí)查詢系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

3 常濤;改進(jìn)型MapReduce框架的研究與設(shè)計(jì)[D];北京郵電大學(xué);2011年

4 姚永剛;基于云計(jì)算的人機(jī)對話系統(tǒng)研究與實(shí)現(xiàn)[D];華南理工大學(xué);2013年

5 劉曉靜;基于HBase的海量小視頻存儲與檢索系統(tǒng)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

  本文關(guān)鍵詞：基于云計(jì)算的災(zāi)害大數(shù)據(jù)管理方法研究與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：265545