云存儲(chǔ)實(shí)現(xiàn)了海量數(shù)據(jù)的存儲(chǔ)與管理,向用戶提供簡(jiǎn)單而可靠的存儲(chǔ)服務(wù),正在受到越來(lái)越廣泛的關(guān)注。副本管理技術(shù)是云存儲(chǔ)系統(tǒng)中用來(lái)提高系統(tǒng)可用性、可靠性以及可擴(kuò)展性的關(guān)鍵技術(shù)之一。但是副本管理技術(shù)的引入,也帶來(lái)了副本創(chuàng)建、副本動(dòng)態(tài)調(diào)整等副本管理方面的問(wèn)題。因此研究在云存儲(chǔ)環(huán)境下的副本管理方法并驗(yàn)證其有效性就成為了一項(xiàng)重要的研究課題。本文在對(duì)幾種典型云存儲(chǔ)系統(tǒng)副本管理方法進(jìn)行研究與分析的基礎(chǔ)上,針對(duì)自主研發(fā)的CSCloud云存儲(chǔ)系統(tǒng),提出了一種基于靜態(tài)放置和動(dòng)態(tài)調(diào)整相結(jié)合的副本管理方法。在該副本管理方法中,在副本初始生成階段,元數(shù)據(jù)管理服務(wù)器結(jié)合文件服務(wù)器歷史信息和用戶信息,根據(jù)靜態(tài)副本節(jié)點(diǎn)選取算法,實(shí)現(xiàn)用戶文件副本與文件服務(wù)器的均衡分配;在副本動(dòng)態(tài)調(diào)整階段,元數(shù)據(jù)管理服務(wù)器結(jié)合監(jiān)控系統(tǒng)的反饋信息,根據(jù)動(dòng)態(tài)副本節(jié)點(diǎn)選取算法,完成用戶文件副本的動(dòng)態(tài)調(diào)整,提高了CSCloud云存儲(chǔ)系統(tǒng)的可用性、可靠性和負(fù)載均衡性。本文還設(shè)計(jì)和實(shí)現(xiàn)了文件的多版本存儲(chǔ)和管理,減少了文件服務(wù)器的存儲(chǔ)壓力,提升了CSCloud云存儲(chǔ)系統(tǒng)的存儲(chǔ)效率。本文將所提出的副本管理方法在CSCloud云存儲(chǔ)系統(tǒng)中加以實(shí)現(xiàn)和應(yīng)用,通過(guò)模... 

【文章來(lái)源】：長(zhǎng)安大學(xué)陜西省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

云存儲(chǔ)層次化模型圖

2.1 Google 文件系統(tǒng)為了解決快速增加的數(shù)據(jù)存儲(chǔ)和處理需求，谷歌提出了可擴(kuò)展的分布式文件系FS。與傳統(tǒng)的分布式文件系統(tǒng)相比，它有幾個(gè)明顯的特點(diǎn)，首先因?yàn)樗臄?shù)據(jù)中心價(jià) PC 機(jī)組成，所以當(dāng)系統(tǒng)中節(jié)點(diǎn)出現(xiàn)錯(cuò)誤時(shí)，不做異常處理，默認(rèn)是一種常態(tài)；主要針對(duì)單位為 GB 級(jí)以上的大文件；最后對(duì)文件的修改以追加寫為主，幾乎沒(méi)有寫。GFS 的系統(tǒng)架構(gòu)如圖 2.1 所示。采用主從式架構(gòu)，其中 Master（主服務(wù)器）是 G元數(shù)據(jù)管理服務(wù)器，存儲(chǔ)著系統(tǒng)所有的元數(shù)據(jù)，并且對(duì)整個(gè)文件系統(tǒng)進(jìn)行管理，數(shù)務(wù)器（Chunk 服務(wù)器）有普通的 PC 機(jī)組成，對(duì)用戶數(shù)據(jù)進(jìn)行存儲(chǔ)，同時(shí)可以對(duì)數(shù)行訪問(wèn)與修改。GFS 地理上廣泛分布，采用多層布局的架構(gòu)，機(jī)架上安裝著數(shù)不清數(shù)據(jù)服務(wù)器，來(lái)自任何機(jī)架的用戶都可以訪問(wèn)這些服務(wù)器。

圖 2.2 S3 基本結(jié)構(gòu)圖為了使系統(tǒng)中的存儲(chǔ)對(duì)象比較均衡地分布，Amazon 采用了改進(jìn)的一致性哈希首先介紹一致性哈希算法，如圖 2.3 所示。該算法可以分為兩個(gè)過(guò)程，第一步求出存儲(chǔ)服務(wù)器的哈希值，然后由所有的值構(gòu)成一個(gè)哈希環(huán)，每個(gè)哈希值代表服務(wù)器；第二步計(jì)算需要進(jìn)行存儲(chǔ)的數(shù)據(jù)的哈希值，然后把這些哈希值按照順映射到第一步的哈希環(huán)上離它最近的存儲(chǔ)服務(wù)器上。由于一致性哈希算法沒(méi)有儲(chǔ)服務(wù)器的異構(gòu)性，于是 Amazon 引入了虛擬節(jié)點(diǎn)的概念，虛擬節(jié)點(diǎn)越多表示器的處理能力越強(qiáng)。改進(jìn)的一致性哈希算法的每個(gè)存儲(chǔ)服務(wù)器都擁有多個(gè)處理相同的虛擬節(jié)點(diǎn)，我們可以通過(guò)存儲(chǔ)服務(wù)器擁有的虛擬節(jié)點(diǎn)數(shù)來(lái)區(qū)分它們的處

【參考文獻(xiàn)】：
期刊論文
[1]淺談云存儲(chǔ)技術(shù)的特點(diǎn)及其應(yīng)用[J]. 張娟.  中國(guó)新通信. 2016(14)
[2]基于AmazonS3的云存儲(chǔ)系統(tǒng)的設(shè)計(jì)[J]. 郭巍,李小勇.  微型電腦應(yīng)用. 2016(01)
[3]基于熱度分析的動(dòng)態(tài)副本創(chuàng)建算法[J]. 饒磊,楊凡德,李新明,劉東.  計(jì)算機(jī)應(yīng)用. 2014(S2)
[4]云存儲(chǔ)數(shù)據(jù)完整性校驗(yàn)機(jī)制研究[J]. 徐先棟,孔令濤,王蒙.  信息安全與通信保密. 2014(10)
[5]OpenStack Swift關(guān)鍵技術(shù)分析與性能評(píng)測(cè)[J]. 葛江浩,劉磊,李小勇.  微型電腦應(yīng)用. 2013(11)
[6]Hadoop副本放置策略[J]. 邵秀麗,王亞光,李云龍,劉一偉.  智能系統(tǒng)學(xué)報(bào). 2013(06)
[7]分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)器高可用性設(shè)計(jì)[J]. 戰(zhàn)科宇,李小勇,劉海濤.  小型微型計(jì)算機(jī)系統(tǒng). 2013(04)
[8]基于云存儲(chǔ)技術(shù)的存儲(chǔ)架構(gòu)模型[J]. 員建廈.  計(jì)算機(jī)與網(wǎng)絡(luò). 2013(07)
[9]基于Amazon S3兼容云存儲(chǔ)平臺(tái)的媒體文件存儲(chǔ)與訪問(wèn)[J]. 宋順祥,姜瑩.  信息通信技術(shù). 2013(01)
[10]安全云存儲(chǔ)系統(tǒng)與關(guān)鍵技術(shù)綜述[J]. 傅穎勛,羅圣美,舒繼武.  計(jì)算機(jī)研究與發(fā)展. 2013(01)

博士論文
[1]面向云存儲(chǔ)副本復(fù)制的一致性關(guān)鍵技術(shù)研究[D]. 楊英儀.華南理工大學(xué) 2015
[2]面向大數(shù)據(jù)的異構(gòu)集群存儲(chǔ)系統(tǒng)副本放置與選擇策略研究[D]. 熊潤(rùn)群.東南大學(xué) 2015
[3]多版本塊備份數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D]. 吳廣君.哈爾濱工業(yè)大學(xué) 2010

碩士論文
[1]云存儲(chǔ)環(huán)境下副本管理策略研究與實(shí)現(xiàn)[D]. 杜國(guó)平.北京郵電大學(xué) 2017
[2]Geo-distributed云存儲(chǔ)服務(wù)中數(shù)據(jù)副本放置策略的研究[D]. 劉圓圓.吉林大學(xué) 2016
[3]私有云中的數(shù)據(jù)同步、備份和恢復(fù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 黃輝.電子科技大學(xué) 2016
[4]基于Openstack云存儲(chǔ)技術(shù)的研究與實(shí)現(xiàn)[D]. 夏志雄.華南理工大學(xué) 2016
[5]云存儲(chǔ)環(huán)境下副本管理策略研究[D]. 張翠蘋.沈陽(yáng)航空航天大學(xué) 2016
[6]基于Swift的資源負(fù)載均衡策略研究[D]. 閆曉勇.哈爾濱工業(yè)大學(xué) 2015
[7]云環(huán)境下的高效多副本管理研究[D]. 施振磊.電子科技大學(xué) 2015
[8]基于Hadoop的數(shù)據(jù)備份技術(shù)的研究與實(shí)現(xiàn)[D]. 李超越.北京郵電大學(xué) 2015
[9]基于OpenStack的云存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)[D]. 邵珠興.北京工業(yè)大學(xué) 2014
[10]云存儲(chǔ)系統(tǒng)中數(shù)據(jù)復(fù)制關(guān)鍵技術(shù)研究[D]. 王義波.南京郵電大學(xué) 2014



本文編號(hào)：3467705