【摘要】：近年來云計算的發(fā)展給用戶提供了按需、靈活、低成本以及可擴展的應用部署方式,市面上出現(xiàn)了許多云服務提供商,如阿里云、AWS及Azure等。這種“多云”共存的環(huán)境使得用戶能夠方便靈活地利用多個云服務提供商來部署運行他們的應用以達到降低成本、提高服務質(zhì)量等目的。由于云計算的這些特點,越來越多的數(shù)據(jù)密集型應用(如天文大數(shù)據(jù))也開始利用云計算提供的海量計算和存儲資源來進行部署及運行,這類應用通常包含復雜的工作流,通過工作流中許多復雜任務來對數(shù)據(jù)進行一步一步的處理并產(chǎn)生大量的具有依賴關系的數(shù)據(jù)。然而,由于云計算按需付費的使用方式,這些數(shù)據(jù)存儲在云中會產(chǎn)生極高的存儲成本,而如果將所有生成的數(shù)據(jù)刪除,數(shù)據(jù)在被重新使用時需要從原始數(shù)據(jù)開始生成,則會產(chǎn)生很高的計算成本,不僅如此,不合理的數(shù)據(jù)存儲方式也會對云計算資源造成極大的浪費,這些問題給數(shù)據(jù)密集型應用在云中的部署運行帶來巨大挑戰(zhàn)。因此,一個合理的數(shù)據(jù)存儲和放置策略不僅能為用戶節(jié)省大量的成本,而且能夠降低云計算資源的浪費。針對以上問題,本文首先使用數(shù)據(jù)依賴圖(Data Dependency Graph,DDG)對應用中數(shù)據(jù)間的依賴關系進行建模,以及研究數(shù)據(jù)存儲策略和應用運行總成本之間的關系,并深入研究多云環(huán)境下最小成本數(shù)據(jù)存儲算法。我們根據(jù)數(shù)據(jù)的依賴關系的特點將數(shù)據(jù)依賴圖分為線性數(shù)據(jù)依賴圖(linear-DDG)和復雜數(shù)據(jù)依賴圖(complex-DDG),然后分別研究其最小成本數(shù)據(jù)存儲算法。具體來說,1)針對linear-DDG,提出一個具有線性時間復雜度的數(shù)據(jù)存儲算法(linear-PCE)。linear-PCE算法針對云環(huán)境中過長的數(shù)據(jù)生成過程會導致計算成本快速增長的問題,使用動態(tài)規(guī)劃算法以及起源數(shù)據(jù)候選集約簡規(guī)則,快速地找到每個數(shù)據(jù)的最優(yōu)起源數(shù)據(jù),最后通過反向遍歷最優(yōu)起源數(shù)據(jù),即可獲得最小成本數(shù)據(jù)存儲策略。與此同時,linear-PCE使用增量計算大大降低了算法的時間復雜性。2)針對多云環(huán)境下具有復雜數(shù)據(jù)依賴關系的數(shù)據(jù)存儲問題,本文提出了一個高效的復雜依賴關系多云數(shù)據(jù)存儲算法(PCE)。PCE算法通過為數(shù)據(jù)依賴圖中的分支指定起源數(shù)據(jù),以及為合并分支中的數(shù)據(jù)尋找最優(yōu)起源數(shù)據(jù)組合,能夠計算出復雜數(shù)據(jù)依賴關系的最小成本數(shù)據(jù)存儲策略。PCE算法利用數(shù)據(jù)依賴圖的線性子圖具有多項式種最優(yōu)存儲策略,通過保存算法運行的中間結果以重用可以快速地計算出最小成本數(shù)據(jù)存儲策略。本文以天文為背景在實際的天文應用中進行方法的驗證,根據(jù)實際天文大數(shù)據(jù)應用中的數(shù)據(jù)依賴關系、數(shù)據(jù)大小以及任務的執(zhí)行時間構造真實的數(shù)據(jù)依賴圖,使用現(xiàn)有主流云服務提供商所使用的定價模型生成的云服務提供商來模擬運行天文大數(shù)據(jù)應用,結果表明本文算法得到的數(shù)據(jù)存儲策略能夠大大降低應用運行的成本,節(jié)省云服務提供商的云計算資源。另外本文基于模擬數(shù)據(jù)進行了大量的實驗,結果表明,對于具有線性數(shù)據(jù)依賴關系的數(shù)據(jù)存儲問題,本文的算法都能高效地找出最小成本數(shù)據(jù)存儲策略。
【圖文】：

第３章多云環(huán)境下最小成本數(shù)據(jù)存儲問題逡逑本章首先介紹云環(huán)境下真實的數(shù)據(jù)密集型科學應用“天體物理領域中的脈沖逡逑星搜尋應用”，通過案例來研究云環(huán)境下數(shù)據(jù)存儲所面臨的問題。然后本章進一步逡逑介紹最小成本數(shù)據(jù)存儲問題相關定義并對云環(huán)境下的最小成本數(shù)據(jù)存儲問題進行逡逑建模。逡逑３．１多云環(huán)境下數(shù)據(jù)管理案例描述逡逑斯威本大學天體物理小組一直在利用世界上最著名的射電望遠鏡之一帕克斯逡逑射電望遠鏡１的觀測數(shù)據(jù)進行脈沖星搜尋。脈沖星搜尋是一種典型的科學應用，它逡逑包含復雜且耗時的任務，需要處理數(shù)兆字節(jié)的數(shù)據(jù)。圖３－１描述了在脈沖星搜尋工逡逑作流的總體結構。脈沖星搜索過程有三個主要步驟：逡逑

及其指向數(shù)據(jù)的成本率之和，通過求解最短路徑問題，我們可以得到數(shù)據(jù)依賴圖的逡逑最低成本數(shù)據(jù)存儲策略，最短路徑的長度對應數(shù)據(jù)的最小總成本率。逡逑圖４－２所示的實驗結果表明，我們的算法始終可以在１秒內(nèi)完成，而ＧＴ－ＣＳＢ逡逑算法的運行時間隨著數(shù)據(jù)數(shù)量的增加而顯著增加。逡逑１００邋邐邋１０００邋邐—＾逡逑—ＰＣＥ逡逑＾邋．邋１００邋－逡逑ｆ邐１０邐－邋—ＧＴ－ＣＳＢｓ逡逑Ｐ邐．Ｓ邐１0邐—ＰＣＥ逡逑？Ｉ邐＝邐—邋ＧＴ－ＣＳＢ逡逑Ｉ邐Ｉ邐１逡逑０１邐＇邐＾邐０．１邋－逡逑．—邐一＇邋＇逡逑０．０１邋＜＝￣￣￣￣＾邐■邋１邋—邋１邐邋０．０１邋邐１邐１邐１邐逡逑１００邐２００邐３００邐４００邐５００邐１００邐２００邐３００邐４００邐５００逡逑（ａ）不同的數(shù)據(jù)集數(shù)量（３個云服務商）邐（ｂ）不同的數(shù)據(jù)集數(shù)量（１０個云服務商）逡逑圖４－２不同設置下ｌｍｅａｒ－ＰＣＥ算法和ＧＴ－ＣＳＢ算法的性能比較逡逑在接下來的實驗中，基于我們根據(jù)文獻［４４］提出的原理，我們設計了一種方法，逡逑可以找到局部最小成本存儲策略，而不用找到全局的最小成本存儲策略，，這樣能夠逡逑使用較短的時間找到整體較低成本數(shù)據(jù)存儲策略。該方法將劃分為若干個大逡逑小相同的線性片段，并利用ＧＴ－ＣＳＢ和線性ＰＣＥ算法分別為每個片段尋找局部最逡逑優(yōu)數(shù)據(jù)存儲策略。這個實驗中我們使用一個有５００個數(shù)據(jù)的ＤＺ）Ｇ，并將其均等劃逡逑分為有不同數(shù)量數(shù)據(jù)的ＤＤＧ片段。圖４－３顯示了不同片段長度情況下的ｌｉｎｅａｒ－逡逑ＰＣＥ算法和ＧＴ－ＣＳＢ算法的運行時間，結果顯示ｌｉｎｅａｒ－ＰＣＥ算法仍然超過ＧＴ－ＣＳＢ逡
【學位授予單位】：山東大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 李維佳;;智慧城市中大數(shù)據(jù)存儲與分析技術探索[J];數(shù)字通信世界;2019年06期

2 丁茜;;云計算在移動社交中的應用研究[J];中小學電教;2017年06期

3 仲盛;;特約主編寄語[J];南京信息工程大學學報(自然科學版);2017年05期

4 馮英偉;王慶福;吉高卿;;云計算環(huán)境下高校網(wǎng)絡教學資源數(shù)據(jù)存儲研究[J];信息與電腦(理論版);2016年03期

5 鄭盛姣;;簡單的數(shù)據(jù)修復[J];文理導航(中旬);2017年01期

6 黃浩星;;空間高效的分布式數(shù)據(jù)存儲方案[J];數(shù)碼世界;2017年11期

7 崔志敏;黃斌;周利宏;;PACS數(shù)據(jù)存儲方案和安全性策略[J];實用醫(yī)技雜志;2006年20期

8 鄭士貴;數(shù)據(jù)存儲的全面管理[J];管理科學文摘;1997年09期

9 本刊編輯部;;《高密度光學數(shù)據(jù)存儲材料》通過鑒定[J];光電子.激光;1988年06期

10 姜天海;;新技術讓數(shù)據(jù)存儲時間逼近“永恒”[J];科學新聞;2017年01期

相關會議論文 前10條

1 孫崢皓;汪宏f;閻巖;岑小鋒;鄧志均;;淺談信息化戰(zhàn)爭對大數(shù)據(jù)存儲與分析的要求及對策[A];2013第一屆中國指揮控制大會論文集[C];2013年

2 葉代亮;孔曉峰;;金華電業(yè)局數(shù)據(jù)存儲整合方案[A];2006電力行業(yè)信息化年會會議論文集[C];2006年

3 張沁川;王厚軍;;基于大容量閃存的數(shù)據(jù)存儲與管理[A];2008中國儀器儀表與測控技術進展大會論文集（Ⅲ）[C];2008年

4 陶春峰;詹仕凡;李磊;萬忠宏;趙佳瑜;;多頻解釋軟件的數(shù)據(jù)存儲與顯示[A];2018年中國地球科學聯(lián)合學術年會論文集（二十三）——專題47：油氣田與煤田地球物理勘探[C];2018年

5 韋大偉;;分布式數(shù)據(jù)存儲中的機密性保護[A];2006年全國開放式分布與并行計算機學術會議論文集（三）[C];2006年

6 ;Wallstor網(wǎng)絡數(shù)據(jù)存儲的新技術應用[A];江蘇省微型電腦應用協(xié)會產(chǎn)學研成果交流會會議資料[C];2010年

7 黃建平;;“云”中的衛(wèi)星數(shù)據(jù)中心——互聯(lián)網(wǎng)+衛(wèi)星數(shù)據(jù)存儲與計算[A];中國地球物理學會信息技術專業(yè)委員會“互聯(lián)網(wǎng)+地球物理”研究論壇論文摘要集[C];2016年

8 林良帆;鄧雪原;;BIM數(shù)據(jù)存儲標準與集成管理研究現(xiàn)狀[A];計算機技術在工程設計中的應用——第十六屆全國工程設計計算機應用學術會議論文集[C];2012年

9 叢雪松;段智敏;;WinCC腳本在數(shù)據(jù)存儲中的應用[A];中國計量協(xié)會冶金分會2009年年會論文集[C];2009年

10 霍躍華;;IP SAN在煤炭企業(yè)數(shù)據(jù)存儲的應用研究[A];煤礦自動化與信息化——第20屆全國煤礦自動化與信息化學術會議暨第2屆中國煤礦信息化與自動化高層論壇論文集[C];2010年

相關重要報紙文章 前10條

1 本報記者 陳方耀;提供數(shù)據(jù)存儲新方案 筑就新經(jīng)濟“生態(tài)湖”[N];成都日報;2019年

2 ;企業(yè)優(yōu)化數(shù)據(jù)存儲的啟示[N];中國信息化周報;2018年

3 本報記者 楊雪;光學大數(shù)據(jù)存儲：更快，更久，更綠色[N];科技日報;2018年

4 本報記者 衣瓊;打造安全的數(shù)據(jù)存儲與金融風控平臺[N];貴陽日報;2017年

5 沈建苗 編譯;數(shù)據(jù)存儲準備好迎接人工智能了嗎？[N];中國計算機報;2017年

6 四川文理學院 劉瑜;借力大數(shù)據(jù)優(yōu)化圖書館數(shù)據(jù)存儲[N];中國信息化周報;2017年

7 記者 邸繼勇;深企創(chuàng)新DPU 有望顛覆CPU[N];深圳特區(qū)報;2017年

8 中國電信股份有限公司廣州研究院 賴培源;海量冷數(shù)據(jù)存儲關鍵技術[N];人民郵電;2016年

9 本報記者 郭濤;澄清大數(shù)據(jù)存儲[N];中國計算機報;2014年

10 本報駐美國記者 管克江;云計算抬高數(shù)據(jù)存儲公司身價[N];人民日報;2010年

相關博士學位論文 前10條

1 蔚趙春;無線傳感器網(wǎng)絡中自適應數(shù)據(jù)存儲與kNN查詢處理研究[D];復旦大學;2008年

2 付松齡;分布式在線社交網(wǎng)絡數(shù)據(jù)存儲及優(yōu)化技術研究[D];國防科學技術大學;2014年

3 郝行軍;物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理技術研究[D];中國科學技術大學;2017年

4 宋亞奇;云平臺下電力設備監(jiān)測大數(shù)據(jù)存儲優(yōu)化與并行處理技術研究[D];華北電力大學(北京);2016年

5 解煒;射頻識別系統(tǒng)安全協(xié)議研究[D];國防科學技術大學;2014年

6 樊華;面向物聯(lián)網(wǎng)的RFID不確定數(shù)據(jù)清洗與存儲技術研究[D];國防科學技術大學;2013年

7 高超;無線傳感器網(wǎng)絡數(shù)據(jù)存儲算法與應用技術研究[D];華中科技大學;2012年

8 湯啟云;模板誘導的嵌段共聚物和納米粒子自組裝[D];南京大學;2011年

9 李芳芳;無線傳感器網(wǎng)絡實時數(shù)據(jù)管理關鍵技術研究[D];東北大學;2008年

10 劉健;模糊XML數(shù)據(jù)存儲與查詢技術的研究[D];東北大學;2014年

相關碩士學位論文 前10條

1 龔蓉軍;基于云計算的轎車道路試驗數(shù)據(jù)存儲與分析[D];上海交通大學;2017年

2 溫振蕙;基于HBase的大數(shù)據(jù)存儲優(yōu)化設計與性能分析[D];中北大學;2019年

3 張俊華;多云環(huán)境下最小成本數(shù)據(jù)存儲問題研究[D];山東大學;2019年

4 寧峰;基于Redis的RDF數(shù)據(jù)存儲及性能分析[D];云南大學;2017年

5 賈啟航;基于TMS320C6000的自容式數(shù)據(jù)存儲與處理平臺[D];哈爾濱工程大學;2018年

6 楊子孺;基于Dubbo技術的微課平臺設計與實現(xiàn)[D];湖南大學;2018年

7 仇紅劍;大規(guī)模RDF語義數(shù)據(jù)存儲查詢優(yōu)化與系統(tǒng)實現(xiàn)[D];南京大學;2015年

8 賴文亮;電子關鎖系統(tǒng)設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2018年

9 莊園;基于投影再生碼的自適應分布式數(shù)據(jù)存儲方法[D];西安電子科技大學;2018年

10 梁勝昔;云環(huán)境下大數(shù)據(jù)存儲副本策略的優(yōu)化研究[D];南京郵電大學;2018年

本文編號：2672548