【摘要】：在云計(jì)算的時(shí)代大潮中,海量數(shù)據(jù)的存儲(chǔ)與數(shù)據(jù)分析成為了IT行業(yè)巨頭角逐的競(jìng)技場(chǎng),云計(jì)算基礎(chǔ)設(shè)施之一的分布式文件系統(tǒng)受到了廣泛的關(guān)注與研究應(yīng)用。而目前,最流行的分布式文件系統(tǒng)容錯(cuò)機(jī)制的多副本機(jī)制,雖然在大規(guī)模并行計(jì)算上有好的表現(xiàn),但在控制冗余開銷、提高系統(tǒng)的容錯(cuò)等級(jí)上的表現(xiàn)遠(yuǎn)遠(yuǎn)不及糾刪碼容錯(cuò)機(jī)制,糾刪碼在這方面則有著不可比擬的優(yōu)勢(shì)。設(shè)計(jì)并實(shí)現(xiàn)一個(gè)編碼容錯(cuò)的分布式文件系統(tǒng),支持不同的編碼方案與容錯(cuò)機(jī)制,使得用戶與應(yīng)用開發(fā)者能夠根據(jù)情況選擇最合適的策略與機(jī)制,在數(shù)據(jù)爆發(fā)時(shí)代節(jié)省數(shù)據(jù)存儲(chǔ)量,提高系統(tǒng)運(yùn)行效率,具有非常重要的意義。為了研究編碼容錯(cuò)云存儲(chǔ)系統(tǒng)的性能,本文以開源云存儲(chǔ)平臺(tái)HDFS為基礎(chǔ),通過融合信息論編碼技術(shù),設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)編碼容錯(cuò)的云存儲(chǔ)系統(tǒng),該系統(tǒng)支持不同的容錯(cuò)策略與編碼方案,支持盡可能多的文件基礎(chǔ)操作以滿足用戶的需求,并對(duì)文件切分方案進(jìn)行了研究,建立粒度可控的優(yōu)化機(jī)制,大大提高了文件隨機(jī)讀和文件追加的性能。本文的工作內(nèi)容與研究成果有1.設(shè)計(jì)并實(shí)現(xiàn)了編碼通用的分布式文件系統(tǒng)。不同的容錯(cuò)機(jī)制在不同的指標(biāo)上有著各自獨(dú)有的優(yōu)勢(shì),不同的編碼方案有著不同的編解碼效率與冗余開銷,而不同的應(yīng)用則有著不同的存儲(chǔ)需求,因此,本文針對(duì)大規(guī)模數(shù)據(jù)應(yīng)用設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)編碼普適容錯(cuò)的分布式文件系統(tǒng),該系統(tǒng)運(yùn)行在普通的商用存儲(chǔ)服務(wù)器上,有著很好的容錯(cuò)性,并能夠?qū)⒍喔北镜娜蒎e(cuò)機(jī)制作為編碼的一種特殊情況包含進(jìn)來,并支持各種不同的編碼方案,使得用戶與應(yīng)用能夠選擇最適合其存儲(chǔ)需求的方案。2.設(shè)計(jì)了一個(gè)基于傳輸單位的細(xì)粒度文件切分方案�；诙喔北救蒎e(cuò)機(jī)制的GFS和基于糾刪碼的HDFS Raid等系統(tǒng)都采用了基于文件存儲(chǔ)單位的粗粒度文件切分方案,該方案在編碼文件系統(tǒng)中會(huì)造成很多文件基礎(chǔ)操作,如隨機(jī)讀、文件追加的低效。對(duì)此,本文設(shè)計(jì)并實(shí)現(xiàn)了基于文件傳輸單位的細(xì)粒度文件切分方案,實(shí)驗(yàn)數(shù)據(jù)與理論分析表明,該方案在各種文件基礎(chǔ)操作表現(xiàn)出不低于粗粒度文件切分方案的性能。3.在細(xì)粒度的文件切分方案的基礎(chǔ)上,實(shí)現(xiàn)了高效的文件隨機(jī)讀和文件追加操作。在大數(shù)據(jù)的應(yīng)用場(chǎng)景下,很多分布式文件系統(tǒng)設(shè)計(jì)理念為數(shù)據(jù)文件往往是一次寫入、多次串行的只讀。本文注意到隨機(jī)讀和文件追加也是很多應(yīng)用的基礎(chǔ),細(xì)粒度文件切分方案能夠高效的支持以上兩種文件操作。因此本文的最后部分實(shí)現(xiàn)了高效的文件隨機(jī)讀和文件追加操作,并對(duì)比粗粒度切分方案予以分析其操作效率。
[Abstract]:In the era of cloud computing, mass data storage and data analysis has become the competition arena of the IT industry giants. Distributed file system, one of the cloud computing infrastructure, has received extensive attention and research and application. At present, the most popular multi-replica mechanism of distributed file system fault-tolerant mechanism, although it has a good performance in large-scale parallel computing, but in the control of redundant overhead, improve the fault-tolerance level of the system performance is far less than erasure code fault-tolerant mechanism. Erasure codes have incomparable advantages in this respect. A distributed file system with coding fault tolerance is designed and implemented to support different coding schemes and fault-tolerant mechanisms so that users and application developers can choose the most appropriate strategies and mechanisms according to the situation. It is of great significance to save data storage and improve system efficiency in the era of data burst. In order to study the performance of coding fault-tolerant cloud storage system, this paper designs and implements a coding fault-tolerant cloud storage system based on open source cloud storage platform HDFS. The system supports different fault-tolerant strategies and coding schemes, supports as many file infrastructure operations as possible to meet the needs of users, and studies the file segmentation scheme to establish an optimization mechanism with controllable granularity. It greatly improves the performance of random reading and file appending. The contents and research results of this paper are 1. A general distributed file system is designed and implemented. Different fault-tolerant mechanisms have their own unique advantages in different indexes, different coding schemes have different coding and decoding efficiency and redundant overhead, and different applications have different storage requirements. In this paper, we design and implement a distributed file system with universal coding fault tolerance for large-scale data applications. The system runs on a common commercial storage server and has good fault tolerance. The fault-tolerant mechanism of multiple replicas can be included as a special case of coding, and various coding schemes can be supported, so that users and applications can choose the scheme that is most suitable for their storage requirements. A fine-grained file segmentation scheme based on transport unit is designed. Systems such as GFS based on multi-replica fault-tolerant mechanism and HDFS Raid based on erasure code adopt coarse-grained file segmentation scheme based on file storage unit. This scheme will cause a lot of file basic operations in the coding file system, such as random reading. Inefficient file append. In this paper, a fine grained file segmentation scheme based on file transfer unit is designed and implemented. The experimental data and theoretical analysis show that the performance of this scheme is no less than that of coarse-grained file segmentation scheme. On the basis of fine-grained file segmentation scheme, efficient file random reading and file appending operation are realized. In big data's application scenario, many distributed file system design idea is that data file is always written once and read only serially. This paper notes that random reading and file appending are also the basis of many applications. The fine-grained file segmentation scheme can efficiently support the above two file operations. Therefore, in the last part of this paper, efficient random reading and file appending are realized, and the operation efficiency is analyzed by comparing coarse-grained segmentation scheme.
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李紅;藍(lán)光存儲(chǔ)系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲(chǔ)系統(tǒng) 金融行業(yè)應(yīng)用卓越獎(jiǎng) 醫(yī)療行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲(chǔ)系統(tǒng) 超大容量 高速存取[J];中國計(jì)算機(jī)用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級(jí)存儲(chǔ)系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲(chǔ)系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲(chǔ)系統(tǒng)[J];中國計(jì)算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲(chǔ)[J];每周電腦報(bào);2000年18期

相關(guān)會(huì)議論文 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲(chǔ)系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲(chǔ)系統(tǒng)建設(shè)初探[A];中國公路學(xué)會(huì)計(jì)算機(jī)應(yīng)用分會(huì)2004年年會(huì)學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲(chǔ)系統(tǒng)分析[A];2009年中國高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測(cè)”分會(huì)場(chǎng)論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲(chǔ)系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會(huì)論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[A];中國高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

10 宮海林;郭長(zhǎng)國;苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲(chǔ)系統(tǒng)GSL[A];2006年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 ;第三季度中國存儲(chǔ)系統(tǒng)市場(chǎng)達(dá)19.1億元[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2005年

2 本報(bào)記者 薛斐;服務(wù)：存儲(chǔ)系統(tǒng)的靈魂[N];計(jì)算機(jī)世界;2002年

3 單群一;惠普推出全新一體化存儲(chǔ)系統(tǒng)[N];中國稅務(wù)報(bào);2007年

4 ;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲(chǔ)系統(tǒng)市場(chǎng)價(jià)值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2007年

7 陳耀光;朗登 扛起存儲(chǔ)系統(tǒng)設(shè)計(jì)院的大旗[N];中國企業(yè)報(bào);2001年

8 ;富士通存儲(chǔ)系統(tǒng)全面升級(jí)[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲(chǔ)系統(tǒng)有了“設(shè)計(jì)院”[N];網(wǎng)絡(luò)世界;2001年

相關(guān)博士學(xué)位論文 前10條

1 趙雨虹;云存儲(chǔ)系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 陸承濤;存儲(chǔ)系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

3 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

5 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

6 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

7 刁瑩;用數(shù)學(xué)建模方法評(píng)價(jià)存儲(chǔ)系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

8 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲(chǔ)系統(tǒng)研究[D];電子科技大學(xué);2009年

9 王玉林;多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

10 田敬;對(duì)等存儲(chǔ)系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點(diǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠(yuǎn);基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲(chǔ)模塊的研究與實(shí)現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲(chǔ)系統(tǒng)存儲(chǔ)引擎設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲(chǔ)系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計(jì)云存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲(chǔ)系統(tǒng)設(shè)計(jì)與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲(chǔ)環(huán)境下的混合存儲(chǔ)算法研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

，

本文編號(hào)：2251666