本文關(guān)鍵詞： PaaS云存儲(chǔ) 文件系統(tǒng) 數(shù)據(jù)塊關(guān)系 緩存策略 費(fèi)用優(yōu)化　出處：《湖南大學(xué)》2013年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著計(jì)算機(jī)的普及和移動(dòng)互聯(lián)網(wǎng)大潮的到來，用戶在不同場(chǎng)景不同環(huán)境中都可以享受電子設(shè)備帶來的便利與無縫接入互聯(lián)網(wǎng)的體驗(yàn)，但同時(shí)不得不面臨管理分散于各種設(shè)備中數(shù)據(jù)碎片的問題。此外，許多創(chuàng)新型應(yīng)用如協(xié)同辦公也需要數(shù)據(jù)同步與共享作為基礎(chǔ)。目前市面上大量出現(xiàn)的網(wǎng)盤類應(yīng)用也側(cè)面印證了此類需求普遍存在，無論個(gè)人還是企業(yè)都在尋求改善多設(shè)備數(shù)據(jù)管理的方式。 本文的主要工作是探索一種更徹底的數(shù)據(jù)共享模式，即利用PaaS（Platform asa Service）云存儲(chǔ)服務(wù)為存儲(chǔ)后臺(tái)構(gòu)建文件系統(tǒng)。 本文首先概述PaaS類云存儲(chǔ)服務(wù)的基本概念、使用方式與計(jì)費(fèi)模型，進(jìn)而分析了常見文件系統(tǒng)數(shù)據(jù)塊操作方式對(duì)于使用費(fèi)用的影響。針對(duì)云存儲(chǔ)的特點(diǎn)，確定通過優(yōu)化數(shù)據(jù)組織方式與緩存策略減少遠(yuǎn)程訪問的基本原則，以便適應(yīng)跨越公網(wǎng)的數(shù)據(jù)訪問延時(shí)和服務(wù)商收費(fèi)問題。具體來說，選定三種指標(biāo)用于描述文件系統(tǒng)中數(shù)據(jù)塊間關(guān)系，文件間關(guān)系與訪問熱度，用于確定存儲(chǔ)對(duì)象的內(nèi)部結(jié)構(gòu)，，以及基于數(shù)據(jù)塊關(guān)聯(lián)性的緩存置換策略。然后基于此核心，設(shè)計(jì)了一整套支撐文件系統(tǒng)運(yùn)行的配套部件，包括增強(qiáng)的用戶空間文件系統(tǒng)作為用戶操作接口；圍繞內(nèi)嵌數(shù)據(jù)庫的元信息管理；伴隨下載過程的垃圾清理器；和遠(yuǎn)端服務(wù)交互前的壓縮加密預(yù)處理等。 然后，遵循設(shè)計(jì)實(shí)現(xiàn)了一個(gè)原型系統(tǒng)。該系統(tǒng)采用分層結(jié)構(gòu)，面向接口編程，即每層真實(shí)執(zhí)行模塊都可替換。除了基于KD樹實(shí)現(xiàn)本文設(shè)計(jì)的數(shù)據(jù)組織和緩存策略以外，還將已有較為典型的數(shù)據(jù)塊管理策略一并實(shí)現(xiàn)作為對(duì)比。此外，在通過一些技巧屏蔽不同云服務(wù)商的數(shù)據(jù)一致性保證的前提下，引入數(shù)據(jù)塊級(jí)別去冗余、快照與數(shù)據(jù)恢復(fù)功能，增強(qiáng)系統(tǒng)性能與可用性。最后，在跨越大洲的真實(shí)測(cè)評(píng)環(huán)境中，通過模擬典型應(yīng)用負(fù)載和真實(shí)使用的多種測(cè)試用例下，本系統(tǒng)在運(yùn)行花費(fèi)、執(zhí)行時(shí)間、垃圾清理和緩存命中率等指標(biāo)中都比已有方案體現(xiàn)出明顯的優(yōu)化結(jié)果。
[Abstract]:With the popularity of computers and the advent of mobile Internet, users can enjoy the convenience and seamless Internet access experience brought by electronic devices in different scenarios and different environments. But at the same time it has to face the problem of managing data fragments scattered in various devices. Many innovative applications such as collaborative office also need data synchronization and sharing as the basis. Both individuals and businesses are looking for ways to improve data management for multiple devices. The main work of this paper is to explore a more thorough data sharing model. That is, using PaaS(Platform asa Service to build file system for storage background. This paper first summarizes the basic concept of PaaS cloud storage service, usage and billing model, and then analyzes the common file system data block operation mode on the cost of use, aiming at the characteristics of cloud storage. To determine the basic principles of reducing remote access by optimizing data organization and caching policies in order to adapt to the problem of data access latency and service provider charges across public networks. Three indicators are selected to describe the relationship between data blocks in the file system, the relationship between files and access heat, and to determine the internal structure of storage objects. And cache replacement strategy based on data block correlation. Based on this core, a set of supporting components are designed to support the file system, including enhanced user space file system as the user operation interface; Management of meta-information around embedded database; Garbage cleaners that accompany the download process; The compression encryption preprocessing before interacting with the remote service. Then, a prototype system is implemented in accordance with the design. The system adopts hierarchical structure and interface oriented programming. In addition to the data organization and cache strategy based on KD tree, the typical data block management strategy has been implemented as a comparison. On the premise of shielding the data consistency of different cloud service providers through some techniques, this paper introduces data block level de-redundancy, snapshot and data recovery function to enhance system performance and availability. In the real testing environment across continents, the system takes time to run and execute by simulating the typical application load and the real use of a variety of test cases. Garbage cleaning and cache hit ratio are better than existing schemes.
【學(xué)位授予單位】：湖南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 掌明;;基于改進(jìn)平均跳距和位置修正DV-HOP定位算法[J];電腦開發(fā)與應(yīng)用;2013年10期

2 黃上星;周凌云;;基于GAE的云計(jì)算應(yīng)用開發(fā)[J];大眾科技;2013年10期

3 鄭哲;;一種物流云系統(tǒng)的架構(gòu)方法[J];電腦編程技巧與維護(hù);2013年22期

4 錢晨;張鵬飛;;中國(guó)云計(jì)算建設(shè)及技術(shù)開發(fā)方向分析[J];福建電腦;2013年12期

5 陳江濤;張金隆;張亞軍;;基于企業(yè)應(yīng)用的SaaS顧客價(jià)值影響因素研究[J];中國(guó)地質(zhì)大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2013年06期

6 謝文娟;黃松;張晶晶;李丙戌;;云安全管理框架綜述[J];電腦知識(shí)與技術(shù);2013年31期

7 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

8 雷萬保;程園;崔珞琨;汪楊;;基于服務(wù)關(guān)聯(lián)模型的云服務(wù)權(quán)重計(jì)算算法[J];信息化研究;2014年01期

9 孫志卓;李元章;左偉歡;萬軍;何翔;譚毓安;;LSF:一種面向S-RAID 5的能量管理算法[J];北京理工大學(xué)學(xué)報(bào);2014年02期

10 張正欣;;應(yīng)用于公共電子醫(yī)療領(lǐng)域的SOA服務(wù)組件管理系統(tǒng)[J];電子設(shè)計(jì)工程;2014年02期

相關(guān)會(huì)議論文 前4條

1 張瑋;牛正浩;史慧玲;孫萌;唐紹炬;;多目標(biāo)優(yōu)化的云計(jì)算虛擬集群動(dòng)態(tài)調(diào)整方法[A];山東計(jì)算機(jī)學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年

2 孫英華;郭振波;吳哲輝;杜樂樂;;基于混合云市場(chǎng)的計(jì)算資源交易模型的研究[A];山東計(jì)算機(jī)學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年

3 潘送軍;周沿東;;淺談開發(fā)測(cè)試資源池的建設(shè)及應(yīng)用[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

4 周宇光;陳振義;盛中華;;探索云計(jì)算技術(shù)在企業(yè)信息化建設(shè)中的應(yīng)用[A];第十六屆中國(guó)科協(xié)年會(huì)——分7綠色設(shè)計(jì)與制造信息技術(shù)創(chuàng)新論壇論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 李煜;基于雙邊市場(chǎng)理論的軟件平臺(tái)運(yùn)營(yíng)機(jī)制研究[D];北京郵電大學(xué);2013年

2 張帆;認(rèn)知可重構(gòu)的高效能Web服務(wù)體系結(jié)構(gòu)研究[D];解放軍信息工程大學(xué);2013年

3 董保根;機(jī)載LiDAR點(diǎn)云與遙感影像融合的地物分類技術(shù)研究[D];解放軍信息工程大學(xué);2013年

4 王金寶;云計(jì)算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

5 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

6 卿蘇德;網(wǎng)絡(luò)虛擬化映射算法研究[D];北京郵電大學(xué);2013年

7 史佩昌;云服務(wù)的高效傳遞技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

8 馮德瀛;圖像檢索技術(shù)中相似性搜索方法研究[D];上海交通大學(xué);2013年

9 楊建思;機(jī)載/地面海量點(diǎn)云數(shù)據(jù)組織與集成可視化方法研究[D];武漢大學(xué);2011年

10 劉雪峰;隱私安全協(xié)議研究[D];西安電子科技大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 陳席林;分布式持久化緩存系統(tǒng)的研究與實(shí)現(xiàn)[D];重慶大學(xué);2013年

2 馮黎明;云環(huán)境下無線傳感器網(wǎng)絡(luò)服務(wù)研究[D];南京師范大學(xué);2013年

3 王波;影像特征線輔助下的三維激光點(diǎn)云建筑物建模[D];南京師范大學(xué);2013年

4 潘吳斌;基于云計(jì)算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

5 時(shí)孫媛;氣象數(shù)據(jù)網(wǎng)格中的資源組織和發(fā)現(xiàn)機(jī)制研究[D];南京信息工程大學(xué);2013年

6 曹夕;云計(jì)算中安全服務(wù)機(jī)制的研究[D];福建師范大學(xué);2013年

7 賈嬌;機(jī)載LiDAR點(diǎn)云與航空影像自動(dòng)配準(zhǔn)的精度分析[D];蘭州交通大學(xué);2013年

8 閘旋;CPU+GPU單機(jī)異構(gòu)環(huán)境下遙感數(shù)據(jù)并行處理技術(shù)研究[D];解放軍信息工程大學(xué);2013年

9 張思純;協(xié)同式X86系統(tǒng)仿真中地址映射與指令譯碼技術(shù)研究[D];解放軍信息工程大學(xué);2013年

10 焦術(shù)進(jìn);云計(jì)算中虛擬機(jī)動(dòng)態(tài)遷移技術(shù)的研究[D];太原理工大學(xué);2013年

本文編號(hào)：1487307