本文關鍵詞：基于云計算的數據存儲研究

  更多相關文章： 云計算 數據存儲 Hadoop

【摘要】：云計算是一種大規(guī)模的分布式計算技術,是分布式計算和網格計算的延伸,近年來發(fā)展迅速,對IT行業(yè)產生了巨大影響。Hadoop是云計算技術中針對數據存儲進行分布式處理的技術。Hadoop框架應用廣泛,它可以通過云計算集群來實現(xiàn)海量數據存儲和應用程序運行。實現(xiàn)云計算服務的基本條件是實現(xiàn)高性能的云存儲,它通過應用軟件將網絡中的各類存儲設備進行整合后協(xié)同工作,對外提供數據存儲功能和業(yè)務訪問功能。本文首先深入理解現(xiàn)有的分布式計算和存儲技術、Hadoop的核心組件分布式文件系統(tǒng)HDFS、分布式計算模型MapReduce和分布式數據庫HBase的工作流程,在數據文件處理、安全加密處理、小文件處理和非結構化數據處理等幾方面進行分析和設計,采用Linux集群技術結合并行分布式技術和Hadoop集群技術,應用Eclipse、Tomcat等開發(fā)工具整合虛擬機搭建基于Hadoop的云計算平臺,以HDFS和MapReduce作為處理海量數據的方法,建立基于Hadoop的云存儲模型,實現(xiàn)了海量數據的存儲和分布式處理。通過對基于云計算的數據存儲研究,對云計算環(huán)境下的數據存儲體系結構、分布式文件系統(tǒng)進行了分析,建立的云存儲模型可以為企業(yè)創(chuàng)建基于云計算的數據中心提供具有較高可用性、擴展性和安全性的解決方案。將該模型應用于海量數據的存儲中,可以在日志處理、搜索引擎和文件索引等領域得到更好的性能。
【關鍵詞】：云計算 數據存儲 Hadoop
【學位授予單位】：天津大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 緒論8-12
• 1.1 研究背景和意義8-9
• 1.2 研究內容和研究現(xiàn)狀9-10
• 1.3 組織結構10-12
• 第二章 相關技術綜述12-22
• 2.1 分布式系統(tǒng)12
• 2.2 云計算12-17
• 2.3 Hadoop17-20
• 2.4 開發(fā)工具20-22
• 第三章 云存儲平臺的分析22-27
• 3.1 可行性研究22
• 3.2 平臺整體分析22-24
• 3.2.1 整體分析22-23
• 3.2.2 性能需求23
• 3.2.3 平臺特點23-24
• 3.3 功能需求分析24-27
• 3.3.1 數據文件處理24
• 3.3.2 安全加密處理24-25
• 3.3.3 小文件處理25-26
• 3.3.4 非結構化數據處理26-27
• 第四章 云存儲平臺的設計27-37
• 4.1 設計目標27
• 4.2 整體設計方案27-29
• 4.3 數據文件處理29-30
• 4.4 安全加密處理30-33
• 4.5 小文件處理33-35
• 4.6 非結構化數據處理35-37
• 第五章 云存儲平臺的搭建37-52
• 5.1 平臺技術架構37-38
• 5.2 開發(fā)環(huán)境的配置38-39
• 5.3 平臺的配置39-47
• 5.4 平臺功能的實現(xiàn)47-49
• 5.4.1 平臺功能模塊47
• 5.4.2 文件瀏覽功能47-48
• 5.4.3 文件上傳功能48-49
• 5.4.4 文件共享功能49
• 5.4.5 文件下載功能49
• 5.5 平臺的測試49-52
• 第六章 總結與展望52-54
• 6.1 總結52
• 6.2 展望52-54
• 參考文獻54-56
• 致謝56-57

【相似文獻】

中國期刊全文數據庫 前10條

1 鄭士貴;數據存儲的全面管理[J];管理科學文摘;1997年09期

2 相曉明;網上存儲:X:Drive[J];互聯(lián)網周刊;2000年30期

3 王宇葳;誰來吞吐你的數據[J];互聯(lián)網周刊;2000年30期

4 袁勝,馮毅,伍顯峰,涂春明,盛云川;移動計費營業(yè)系統(tǒng)中數據存儲的考慮[J];電信技術;2001年01期

5 楊向東;數據存儲——深化金融電子化的奠基之石[J];華南金融電腦;2002年03期

6 李子臣,王振光,王文靜;外包數據存儲——經濟、安全、高效[J];現(xiàn)代情報;2002年11期

7 楊向東;數據存儲——金融電子化的基石[J];中國金融電腦;2002年03期

8 黃重訊;企業(yè)的數據存儲[J];鄉(xiāng)鎮(zhèn)企業(yè)研究;2003年06期

9 李婕;;醫(yī)院信息化促進數據存儲中心的建立[J];醫(yī)學信息;2006年09期

10 夏歡;熊前興;馮櫻;;數據存儲的探討[J];科技信息;2006年S4期

中國重要會議論文全文數據庫 前10條

1 孫崢皓;汪宏f;閻巖;岑小鋒;鄧志均;;淺談信息化戰(zhàn)爭對大數據存儲與分析的要求及對策[A];2013第一屆中國指揮控制大會論文集[C];2013年

2 張沁川;王厚軍;;基于大容量閃存的數據存儲與管理[A];2008中國儀器儀表與測控技術進展大會論文集（Ⅲ）[C];2008年

3 霍躍華;;IP SAN在煤炭企業(yè)數據存儲的應用研究[A];煤礦自動化與信息化——第20屆全國煤礦自動化與信息化學術會議暨第2屆中國煤礦信息化與自動化高層論壇論文集[C];2010年

4 盛磊;李美華;程林;;一種軋鋼過程數據存儲方法[A];全國冶金自動化信息網2014年會論文集[C];2014年

5 王文峰;李佳;;芻議信息系統(tǒng)數據存儲與備份系統(tǒng)的構建方式[A];2011年云南電力技術論壇論文集（入選部分）[C];2011年

6 張艷秋;李建中;楊艷;張兆功;;混合負載多媒體服務器的數據存儲和數據提交[A];第二十屆全國數據庫學術會議論文集（研究報告篇）[C];2003年

7 王淑江;;煙臺日報傳媒集團存儲體系規(guī)劃[A];中國新聞技術工作者聯(lián)合會五屆一次理事會暨學術年會論文集（上篇）[C];2009年

8 ;Wallstor網絡數據存儲的新技術應用[A];江蘇省微型電腦應用協(xié)會產學研成果交流會會議資料[C];2010年

9 韋大偉;;分布式數據存儲中的機密性保護[A];2006年全國開放式分布與并行計算機學術會議論文集（三）[C];2006年

10 韓德志;;內網數據存儲安全關鍵技術的研究與實現(xiàn)[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

中國重要報紙全文數據庫 前10條

1 中國惠普公司網絡存儲事業(yè)部技術顧問 周志峰;數據存儲面臨七大挑戰(zhàn)[N];計算機世界;2001年

2 本報記者 郭濤;中興通訊打造安全高效的大數據存儲[N];中國計算機報;2013年

3 本報記者 陳巍巍;數據存儲 進化正當時[N];計算機世界;2013年

4 本報記者 黃銳;綠源巢:大數據存儲弄潮兒[N];東莞日報;2014年

5 毛玲玲 吳非;數據存儲 安全為重[N];解放軍報;2014年

6 本報記者 郭濤;華為存儲：高端存儲、大數據存儲齊頭并進[N];中國計算機報;2013年

7 本報記者 方慧玲;糾刪碼技術：大數據存儲的“安全衛(wèi)士”[N];江蘇科技報;2014年

8 ;培養(yǎng)皿中的數據存儲[N];網絡世界;2007年

9 ;2010年中小企業(yè)數據存儲市場六大趨勢[N];網絡世界;2010年

10 本報實習記者 陳勛燕;數據存儲網絡凸現(xiàn)商機 上海郵通轉型前景看好[N];通信信息報;2002年

中國博士學位論文全文數據庫 前3條

1 付松齡;分布式在線社交網絡數據存儲及優(yōu)化技術研究[D];國防科學技術大學;2014年

2 張杰;一種高速數據存儲方法的研究[D];中國科學技術大學;2013年

3 付永忠;基于AFM和硫系相變材料的超高密度數據存儲機理研究[D];江蘇大學;2010年

中國碩士學位論文全文數據庫 前10條

1 葛佳;P2P網絡信譽數據存儲與恢復方法的研究與實現(xiàn)[D];昆明理工大學;2015年

2 潘陽;基于Hadoop技術在分布式數據存儲中的應用研究[D];大連海事大學;2015年

3 秦崢惠;基于Leveldb的企業(yè)級大數據集群化存儲設計與實現(xiàn)[D];遼寧科技大學;2015年

4 吉瑛;基于MongoDB的團隊協(xié)作數據存儲方案研究與實現(xiàn)[D];中國科學院大學(工程管理與信息技術學院);2015年

5 姜威靈;CT仿真數據存儲與高速傳輸裝置設計[D];東北大學;2014年

6 方頎;基于行數據存儲的CBCT圖像重建FPGA電路的優(yōu)化與設計[D];哈爾濱工業(yè)大學;2015年

7 張路路;基于MongoDB的大數據存儲方法研究與應用[D];成都理工大學;2015年

8 張磊;基于Hadoop分布式數據存儲傳感設備平臺的描述[D];南京郵電大學;2015年

9 賈新宇;基于云計算的GIS柵格數據存儲與算法研究[D];吉林大學;2015年

10 李青;科技云平臺的數據存儲管理技術研究[D];北方工業(yè)大學;2016年

，

本文編號：601757