本文關(guān)鍵詞：私有云存儲系統(tǒng)的設(shè)計與實現(xiàn)　出處：《電子科技大學(xué)》2014年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 云存儲系統(tǒng) 分布式處理 數(shù)據(jù)存儲 一致性 容錯

【摘要】：隨著信息技術(shù)的不斷發(fā)展和普及,數(shù)據(jù)量迅猛增長,數(shù)據(jù)之間的聯(lián)系也越來越緊密,這使得高能性能計算[23,24]和大數(shù)據(jù)處理[25-27]日益成為人們關(guān)注的焦點。如今,云存儲技術(shù)因其高效的管理方式,高可靠性,高安全性等特點成為企業(yè)存儲數(shù)據(jù)的首選解決方案。而在云存儲系統(tǒng)設(shè)計之中,其高效性、可擴展性和安全性成為設(shè)計的難點和重點。在云計算業(yè)界,云存儲系統(tǒng)的元數(shù)據(jù)管理單元和數(shù)據(jù)存儲單元的設(shè)計和實現(xiàn)一直是整個難點問題。由于文章篇幅和時間的限制,本文重點研究數(shù)據(jù)存儲單元的設(shè)計和實現(xiàn)。本文根據(jù)當(dāng)前的存儲系統(tǒng)和分布式文件系統(tǒng)的特點和應(yīng)用,并結(jié)合企業(yè)存儲服務(wù)的實際需求,提出并實現(xiàn)了一種具有高可擴展性和高可用性的云存儲系統(tǒng)C-Store。本文先介紹已有的幾種分布式存儲系統(tǒng)和與云存儲相關(guān)技術(shù)理論基礎(chǔ),接著介紹本云存儲系統(tǒng)的總體設(shè)計思路和方法,重點介紹數(shù)據(jù)存儲系統(tǒng)的設(shè)計和實現(xiàn),最后通過對系統(tǒng)的測試來驗證之前的設(shè)計思路。云存儲系統(tǒng)C-Store的總體架構(gòu)采用分布式構(gòu)架,元數(shù)據(jù)部分和數(shù)據(jù)部分的數(shù)據(jù)采用分別存儲方式,并分別用不同的、各自的資源管理單元(桶)來存儲,這樣有利于元數(shù)據(jù)和數(shù)據(jù)分別管理和進行性能優(yōu)化,避免單個節(jié)點失效帶來的風(fēng)險;同時采用負(fù)載均衡技術(shù)使之各個節(jié)點負(fù)載均衡,使用數(shù)據(jù)恢復(fù)策略等來提高系統(tǒng)的可靠性和可擴展。本文實現(xiàn)了數(shù)據(jù)存儲單元中的設(shè)計思路和設(shè)計要點。整個數(shù)據(jù)存儲子系統(tǒng)實現(xiàn)是在Linux環(huán)境下使用C++來實現(xiàn)的;實現(xiàn)之后系統(tǒng),用戶可以通過客服端來上傳、下載和刪除數(shù)據(jù);實現(xiàn)數(shù)據(jù)以鍵值對存儲方式進行存儲,據(jù)按照基于規(guī)則的資源定位策略(多層映射),定位到多個不同的數(shù)據(jù)存儲單元;通過桶的擴展和遷移來實現(xiàn)系統(tǒng)的負(fù)載均衡機制;用多副本機制來實現(xiàn)數(shù)據(jù)的恢復(fù)和重建;總的來講實現(xiàn)了一個具有高性能、可用性[22]和高可靠性的云存儲系統(tǒng)。
[Abstract]:With the continuous development of information technology and the popularity of the rapid growth of data volume, data between the increasingly close ties, which makes the high performance computing and data processing of [23,24] [25-27] has become the focus of attention. Nowadays, the cloud storage technology because of its efficient management, high reliability, high security has become the preferred solution scheme of enterprise data storage. In the design of cloud storage system, its efficiency, scalability and security has become the key point of the calculation. The industry in the cloud, cloud storage system design and implementation of metadata management unit and a data storage unit is always the difficult problem. Because of the limited time and space this paper focuses on the research, design and implementation of a data storage unit. According to the characteristics and application of the current storage system and distributed file system, combined with the enterprise storage service The actual service demand, proposes and implements a scalability and high availability of distributed storage system has been first introduced by the cloud storage system C-Store. and the related technology of cloud storage has high theoretical basis, and then introduces the overall design ideas and methods of the cloud storage system, introduces the design and implementation of data storage system finally, through the testing of the system to verify the previous design. The overall architecture of cloud storage system C-Store using distributed architecture, metadata part and data part of the data are stored by way, and don't use different resources, their management unit (barrels) to store, which is beneficial to the metadata and data management and to optimize performance, avoid the risk of failure of a single node; at the same time using the load balancing technology so that each node load balancing, data recovery strategy To improve the system reliability and scalability. This paper realizes the design ideas and design points of data storage unit. The data storage subsystem is C++ in the Linux environment to achieve the realization of the system; after, the user can through the customer terminal to upload, download and delete data; data storage in pairs for storage, according to the strategy of resource location based on rules (multi-level mapping), located in a number of different data storage unit; through the expansion and relocation of barrel to realize the load balancing mechanism system; multi copy mechanism to achieve data recovery and reconstruction; in general, to achieve a high performance, the availability of [22] and cloud storage system with high reliability.

【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李紅;藍(lán)光存儲系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲系統(tǒng) 金融行業(yè)應(yīng)用卓越獎 醫(yī)療行業(yè)應(yīng)用卓越獎[J];每周電腦報;2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計算機用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機與應(yīng)用;2006年07期

5 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲系統(tǒng)的分析與應(yīng)用研究[J];計算機光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲系統(tǒng)[J];中國計算機用戶;2000年08期

10 賈莉;;Symmetrix8000實現(xiàn)19TB存儲[J];每周電腦報;2000年18期

相關(guān)會議論文 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設(shè)計[A];安全高效礦井機電裝備及信息化技術(shù)——陜西省煤炭學(xué)會學(xué)術(shù)年會論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向災(zāi)備的高性能可信存儲系統(tǒng)設(shè)計[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

5 汪位龍;;設(shè)計院存儲系統(tǒng)建設(shè)初探[A];中國公路學(xué)會計算機應(yīng)用分會2004年年會學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統(tǒng)分析[A];2009年中國高校通信類院系學(xué)術(shù)研討會論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會2006年年會“中尺度天氣動力學(xué)、數(shù)值模擬和預(yù)測”分會場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計算的冗余刪除存儲系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲系統(tǒng)的研究與實現(xiàn)[A];中國高等教育學(xué)會教育信息化分會第十次學(xué)術(shù)年會論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲系統(tǒng)GSL[A];2006年全國開放式分布與并行計算機學(xué)術(shù)會議論文集（三）[C];2006年

相關(guān)重要報紙文章 前10條

1 ;第三季度中國存儲系統(tǒng)市場達(dá)19.1億元[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2005年

2 本報記者 薛斐;服務(wù)：存儲系統(tǒng)的靈魂[N];計算機世界;2002年

3 單群一;惠普推出全新一體化存儲系統(tǒng)[N];中國稅務(wù)報;2007年

4 ;浪潮推出4Gb光纖存儲系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲系統(tǒng)市場價值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲系統(tǒng)[N];計算機世界;2007年

7 陳耀光;朗登 扛起存儲系統(tǒng)設(shè)計院的大旗[N];中國企業(yè)報;2001年

8 ;富士通存儲系統(tǒng)全面升級[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲系統(tǒng)有了“設(shè)計院”[N];網(wǎng)絡(luò)世界;2001年

相關(guān)博士學(xué)位論文 前10條

1 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

2 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

3 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

5 王鵬;低密度奇偶校驗碼應(yīng)用于存儲系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

6 刁瑩;用數(shù)學(xué)建模方法評價存儲系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

7 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲系統(tǒng)研究[D];電子科技大學(xué);2009年

8 王玉林;多節(jié)點容錯存儲系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

9 田敬;對等存儲系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

10 李懷陽;進化存儲系統(tǒng)數(shù)據(jù)組織模式研究[D];華中科技大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠(yuǎn);基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲模塊的研究與實現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲系統(tǒng)存儲引擎設(shè)計與實現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計云存儲的設(shè)計與實現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲系統(tǒng)設(shè)計與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲環(huán)境下的混合存儲算法研究與實現(xiàn)[D];上海交通大學(xué);2015年

，

本文編號：1379654