云計算技術(shù)的興起和發(fā)展,正逐漸改變?nèi)藗兪褂梅⻊?wù)和資源的方式,同時也成為計算機應(yīng)用領(lǐng)域的研究熱點。云存儲可實現(xiàn)云端海量數(shù)據(jù)的高效存儲,是云計算的重要基礎(chǔ)。如何保證云存儲系統(tǒng)的服務(wù)質(zhì)量(QoS, Qulity of Service)及可靠性,對于保證海量用戶的訪問效率,維護海量數(shù)據(jù)存儲的可用性有著重大意義。當前主流的云存儲系統(tǒng),一方面缺乏有效的QoS控制機制,無法滿足不同用戶的訪問需求,另一方面采用靜態(tài)的可靠性保障技術(shù),難以適應(yīng)系統(tǒng)多變的應(yīng)用環(huán)境。論文針對上述不足,結(jié)合國家重大科技專項的研究以及云存儲系統(tǒng)的基本架構(gòu)模型,對云存儲系統(tǒng)的QoS控制及可靠性技術(shù)開展研究。 為了保證云存儲系統(tǒng)數(shù)據(jù)訪問的QoS,論文提出了基于區(qū)分服務(wù)的云存儲QoS控制方法,通過對云存儲系統(tǒng)的用戶基于服務(wù)質(zhì)量等級進行區(qū)分,提供不同的QoS保證。一方面在元數(shù)據(jù)服務(wù)器上采用EDF隊列調(diào)度滿足用戶對時延的需求；而在數(shù)據(jù)存儲服務(wù)器上利用多級隊列調(diào)度的方法滿足傳輸帶寬的輸出,同時通過自適應(yīng)的負載調(diào)節(jié)優(yōu)先保證高等級用戶的服務(wù)質(zhì)量。另一方面利用QoS-aware負載均衡策略從宏觀上調(diào)節(jié)整個系統(tǒng)的QoS控制,使面向QoS的讀請求分配最優(yōu)化。最后使用斷點續(xù)傳機制,保證數(shù)據(jù)傳輸過程中的QOS。 針對云存儲系統(tǒng)中數(shù)據(jù)存儲服務(wù)器的不可靠特性,論文提出了一種雙向失效檢測策略,以心跳檢測策略為主,主動檢測為輔,對數(shù)據(jù)存儲服務(wù)器進行快速準確的失效檢測。在心跳檢測中,利用自適應(yīng)的心跳超時算法,以適應(yīng)云存儲系統(tǒng)不斷變化的網(wǎng)絡(luò)環(huán)境；同時在心跳超時觸發(fā)主動檢測策略,避免由于心跳丟包而引起的服務(wù)器失效誤判。實驗證明,雙向失效檢測能夠很好地適應(yīng)系統(tǒng)不斷變化的應(yīng)用環(huán)境,降低檢測的錯誤率,準確地識別失效的數(shù)據(jù)存儲服務(wù)器。 在保證數(shù)據(jù)可靠性方面,論文提出了副本初次放置策略、自適應(yīng)的副本數(shù)量控制策略以及副本失效處理機制等一系列面向可靠性的副本策略。副本初次放置策略選取最合適的服務(wù)器放置根副本,保證存儲初期的可靠。自適應(yīng)的副本控制數(shù)量策略根據(jù)用戶的訪問特性動態(tài)地調(diào)節(jié)系統(tǒng)的副本情況,為熱點文件增加副本,減輕負載；同時減少冷門文件的副本,節(jié)省存儲空間資源。當單副本失效或者數(shù)據(jù)存儲服務(wù)器失效時,啟動失效處理機制,通過快速復(fù)制失效的副本來保證副本的冗余個數(shù),確保訪問數(shù)據(jù)的可靠性。 論文最后介紹了基于QoS控制及可靠性技術(shù)的原型系統(tǒng)：杰唐云存儲系統(tǒng)JTangCS,該系統(tǒng)實現(xiàn)了論文所述的QoS控制和可靠性技術(shù)。
【學位單位】：浙江大學
【學位級別】：碩士
【學位年份】：2011
【中圖分類】：TP333
【部分圖文】：

浙江大學{吹卜學位論文第l章緒論備所構(gòu)成的資源集合體。云存儲系統(tǒng)中任何一個單獨的存儲設(shè)備都不能構(gòu)成云存儲服務(wù)。用戶使用云存儲，是使用整個云存儲系統(tǒng)帶來的一種數(shù)據(jù)存儲及訪問服務(wù)。所以嚴格來講，云存儲不是一般意義上的存儲，而是一種服務(wù)。云存儲的實現(xiàn)機制是用戶透明的，用戶無需考慮數(shù)據(jù)存儲的位置，數(shù)據(jù)的可靠性和安全性等繁瑣的技術(shù)細節(jié)，只需要通過付費或者免費的方式就可以從云存儲服務(wù)提供商獲得相應(yīng)的存儲空間和可靠的QOS保證，專注于自身應(yīng)用和業(yè)務(wù)的發(fā)展。與傳統(tǒng)的存儲設(shè)備相比，云存儲系統(tǒng)不再是一個硬件，而是一個網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、應(yīng)用程序、公用訪問接口、接入網(wǎng)絡(luò)等多個部件組成的復(fù)雜系統(tǒng)。云存儲系統(tǒng)以存儲設(shè)備為核心，通過應(yīng)用程序來對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。云存儲的結(jié)構(gòu)模型如圖1.1所示:

2.cePh云存儲系統(tǒng)Ceph是加州大學SantaCruz分校的SageWeil專為博士論文設(shè)計的新一代云存儲文件系統(tǒng)。CePh的主要目標是設(shè)計成基于POSIX的無節(jié)點故障分布式文件系統(tǒng)，使數(shù)據(jù)具有容錯功能和進行無縫復(fù)制。CePh的最大特點有兩個，一是由復(fù)數(shù)個元數(shù)據(jù)服務(wù)器構(gòu)建系統(tǒng)的命名空間，大大強化了元數(shù)據(jù)服務(wù)器的并發(fā)訪問性能。在元數(shù)據(jù)服務(wù)器上它采用動態(tài)子樹劃分技術(shù)，并且支持元數(shù)據(jù)服務(wù)器負載的遷移，實現(xiàn)元數(shù)據(jù)負載均衡。二是提供基于對象存儲設(shè)備的對象文件系統(tǒng)，把文件作為一個存儲對象來對待，有效提高文件讀寫的效率。2010年3月，LinusTorvalds將Ceph的客戶端合并到Linux內(nèi)核2.6.34中。比比比Shhhhh

Lch.‘tkhandle.byIOr翻呂心卜................仁h目吐dal盈Gfse加.加處曰erl，i。哪n卜，y、討”卜‘二「5ehu川匕.“er_l·，。.冬‘.亡、)、‘。n、圖1.2GoogleFilesystem基本架構(gòu)圖[門2.cePh云存儲系統(tǒng)Ceph是加州大學SantaCruz分校的SageWeil專為博士論文設(shè)計的新一存儲文件系統(tǒng)。CePh的主要目標是設(shè)計成基于POSIX的無節(jié)點故障分布式系統(tǒng)，使數(shù)據(jù)具有容錯功能和進行無縫復(fù)制。CePh的最大特點有兩個，一復(fù)數(shù)個元數(shù)據(jù)服務(wù)器構(gòu)建系統(tǒng)的命名空間，大大強化了元數(shù)據(jù)服務(wù)器的并發(fā)能。在元數(shù)據(jù)服務(wù)器上它采用動態(tài)子樹劃分技術(shù)，并且支持元數(shù)據(jù)服務(wù)器的遷移，實現(xiàn)元數(shù)據(jù)負載均衡。二是提供基于對象存儲設(shè)備的對象文件系統(tǒng)文件作為一個存儲對象來對待，有效提高文件讀寫的效率。2010年3月，rvalds將Ceph的客戶端合并到Linux內(nèi)核2.6.34中。

【參考文獻】

相關(guān)期刊論文 前10條

1 云曉春,余翔湛;基于確認度失效檢測算法的研究與設(shè)計[J];北京郵電大學學報;2005年03期

2 伍文靜;程耀東;汪璐;武杰;陳剛;;面向本地分布式存儲系統(tǒng)的動態(tài)副本策略[J];計算機工程與應(yīng)用;2010年12期

3 周旭;盧顯良;侯孟書;詹川;;頻率自適應(yīng)的動態(tài)副本管理機制[J];計算機科學;2005年02期

4 高文宇,陳松喬,王建新;接納控制研究綜述[J];計算機工程;2005年01期

5 陳宇;董健全;;非結(jié)構(gòu)化P2P網(wǎng)絡(luò)中的副本管理策略[J];計算機工程;2008年18期

6 單志廣,林闖,肖人毅,楊揚;Web QoS控制研究綜述[J];計算機學報;2004年02期

7 陳全;鄧倩妮;;云計算及其關(guān)鍵技術(shù)[J];計算機應(yīng)用;2009年09期

8 陳寧江,魏峻,楊波,黃濤;Web應(yīng)用服務(wù)器的適應(yīng)性失效檢測[J];軟件學報;2005年11期

9 武珊珊;于戈;呂雁飛;谷峪;李曉靜;;數(shù)據(jù)流處理中確定性QoS的保證方法[J];軟件學報;2008年08期

10 邱菡;李玉峰;鄔江興;;保障連續(xù)媒體流用戶層QoS的緩存控制[J];軟件學報;2009年07期

相關(guān)碩士學位論文 前1條

1 孫鵬;面向SaaS應(yīng)用的多租戶海量存儲系統(tǒng)設(shè)計與實現(xiàn)[D];浙江大學;2010年

本文編號：2813081