基于云存儲(chǔ)的副本策略關(guān)鍵技術(shù)研究
發(fā)布時(shí)間:2021-11-18 02:22
云存儲(chǔ)將網(wǎng)絡(luò)中大量不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問,能夠有效緩解當(dāng)前大數(shù)據(jù)對(duì)存儲(chǔ)資源需求擴(kuò)張的問題。然而,隨著信息系統(tǒng)對(duì)數(shù)據(jù)訪問的要求急劇擴(kuò)展以及應(yīng)用環(huán)境的日益復(fù)雜,對(duì)系統(tǒng)的存儲(chǔ)效率和可靠性提出了更高的要求。本文針對(duì)云存儲(chǔ)下的數(shù)據(jù)副本關(guān)鍵技術(shù)進(jìn)行了研究,分別提出了副本放置、冗余副本移除和多副本數(shù)據(jù)可靠性三種算法,用于均衡系統(tǒng)的負(fù)載、提高系統(tǒng)的存儲(chǔ)利用率和保證數(shù)據(jù)的可靠性。本文的主要工作包括以下三個(gè)方面:第一,云存儲(chǔ)環(huán)境下副本放置問題研究。針對(duì)高負(fù)載云存儲(chǔ)環(huán)境下過載節(jié)點(diǎn)增長(zhǎng)過快,可能導(dǎo)致的過載聚集效應(yīng)問題,提出了一種用于判定副本創(chuàng)建時(shí)機(jī)和位置的分散自適應(yīng)副本放置算法。該算法根據(jù)節(jié)點(diǎn)的過熱相似度,利用彈性閾值獲取副本創(chuàng)建的最佳時(shí)機(jī),降低了節(jié)點(diǎn)過載概率;同時(shí),它兼顧存儲(chǔ)節(jié)點(diǎn)的過熱相似度以及節(jié)點(diǎn)所處的位置,采用分散自適應(yīng)的方式選擇最佳副本放置節(jié)點(diǎn),降低過載聚集效應(yīng)產(chǎn)生的概率。大量實(shí)驗(yàn)表明,與同類方法相比,該算法下的節(jié)點(diǎn)平均負(fù)載降低了10%,數(shù)據(jù)平均訪問延遲也可以降低15%~20%。第二,云存儲(chǔ)環(huán)境下副本移除問題的研究。針對(duì)云存儲(chǔ)環(huán)境下副本狀態(tài)動(dòng)態(tài)變...
【文章來源】:北京郵電大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:115 頁(yè)
【學(xué)位級(jí)別】:博士
【部分圖文】:
圖1-?1云存儲(chǔ)系統(tǒng)模型圖??存儲(chǔ)層:存儲(chǔ)層由物理存儲(chǔ)設(shè)備和管理這些設(shè)備的管理系統(tǒng)組成
?第一章緒論???1.3本文研究?jī)?nèi)容??本文圍繞云存儲(chǔ)應(yīng)用環(huán)境所帶來的數(shù)據(jù)訪問效率、系統(tǒng)存儲(chǔ)利用率以及數(shù)據(jù)可??靠性等問題展開研宄,提出了副本放置算法、副本移除算法以及多副本可靠性策略,??通過合理的副本放置與副本移除實(shí)現(xiàn)云存儲(chǔ)環(huán)境下低存儲(chǔ)消耗、高數(shù)據(jù)訪問效率以??及保證數(shù)據(jù)可靠性的目標(biāo)。本文的具體研宄內(nèi)容如圖1-2所示。??基于云存儲(chǔ)的副本策略關(guān)鍵技術(shù)研宄??副本移除研宂?副本放置研宄??入—.......ZIZ:^—?^ZEIL—J??在復(fù)雜的云存儲(chǔ)應(yīng)用環(huán)境下改善數(shù)據(jù)訪的問效率、保證??應(yīng)用環(huán)1?境變得?敗目標(biāo)'?數(shù)據(jù)的可靠性、提髙系統(tǒng)的存儲(chǔ)利脾?緩解當(dāng)。樵拼鎯(chǔ)??日益復(fù)雜多樣,?牛?…?…?在數(shù)據(jù)訪問效率、??影響數(shù)據(jù)的訪問?1?數(shù)據(jù)可靠性以及??數(shù)據(jù)可靠性研%?#儲(chǔ)利=方面的??以及存儲(chǔ)利用率???問題????超大規(guī)模、高可擴(kuò)展性、高可靠性、虛擬化、按需服務(wù)和價(jià)格低廉等特點(diǎn)的服務(wù)????—???Zv:————?—:??訪問層應(yīng)用接口層基礎(chǔ)管理層存儲(chǔ)層—核心—?基礎(chǔ)管理層??云存儲(chǔ)系統(tǒng)??圖1-2云存儲(chǔ)環(huán)境下副本策略關(guān)鍵技術(shù)研宄內(nèi)容??(1)云存儲(chǔ)環(huán)境下副本放置問題的研宄??在云存儲(chǔ)環(huán)境中,為降低數(shù)據(jù)訪問延遲,均衡系統(tǒng)的負(fù)載,傳統(tǒng)副本放置算法??通常采用”事后調(diào)整閾值”的方法創(chuàng)建和放置副本。然而,在高負(fù)載環(huán)境下,由于閾值??調(diào)整的滯后性,這些算法容易導(dǎo)致節(jié)點(diǎn)過載概率增加,嚴(yán)重的會(huì)形成過載聚集效應(yīng),??影響了數(shù)據(jù)的訪問效率。本文提出了一種分散自適應(yīng)動(dòng)態(tài)副本放置算法來應(yīng)對(duì)該問??題。該算法首先根據(jù)節(jié)點(diǎn)負(fù)載定義了過熱相似度函數(shù),并根據(jù)節(jié)
?放置副本?????|?;?:?;?:?;?i??^?獲取副本創(chuàng)建的最佳時(shí)機(jī)???^?創(chuàng)建副本????放置副本??;??節(jié)點(diǎn)狀態(tài)隸屬函數(shù)?過熱相似度隸屬函數(shù)??|???!??:…——?—??…—?—?.?—?—??jf??因素、??:??—————??^?副本訪問量?節(jié)點(diǎn)預(yù)熱狀態(tài)???節(jié)點(diǎn)的過熱相似度??--??;?;?過熱相似度相似范圍??節(jié)點(diǎn)跟務(wù)能力?裹在與之???節(jié)點(diǎn)度??圖2-1DARS副本放置方法??問請(qǐng)求進(jìn)行回應(yīng)。為有效減低節(jié)點(diǎn)的過載概率,它根據(jù)預(yù)定義的過載閾值,利用過??熱相似度函數(shù)衡量當(dāng)前負(fù)載與過載閾值的關(guān)系,在節(jié)點(diǎn)即將過載時(shí)創(chuàng)建副本,減小??放置節(jié)點(diǎn)過載的概率。為了能夠及時(shí)的將訪問壓力分散到其他節(jié)點(diǎn),DARS在放置??副本時(shí),綜合參考節(jié)點(diǎn)的過熱相似度和放置副本被訪問的概率,采用模糊聚類分析??法從創(chuàng)建節(jié)點(diǎn)的鄰居中選擇最佳副本放置節(jié)點(diǎn)放置副本,降低過載聚集效應(yīng)產(chǎn)生的??概率;同時(shí)通過副本放置均衡系統(tǒng)的負(fù)載、降低數(shù)據(jù)的訪問延遲。??2.3副本創(chuàng)建的時(shí)機(jī)??2.3.1節(jié)點(diǎn)負(fù)載和節(jié)點(diǎn)狀態(tài)之間的關(guān)系??1、節(jié)點(diǎn)負(fù)載??在云存儲(chǔ)環(huán)境下,導(dǎo)致節(jié)點(diǎn)負(fù)載產(chǎn)生變化的因素有很多;其中,數(shù)據(jù)請(qǐng)求和處??理請(qǐng)求是導(dǎo)致節(jié)點(diǎn)負(fù)載增加的重要原因。本文忽略節(jié)點(diǎn)處理請(qǐng)求所導(dǎo)致的負(fù)載,只??考慮數(shù)據(jù)請(qǐng)求;并假定數(shù)據(jù)請(qǐng)求是導(dǎo)致節(jié)點(diǎn)負(fù)載增加的主要原因;同時(shí)假定節(jié)點(diǎn)在??單位時(shí)間內(nèi)接收到的請(qǐng)求量包含節(jié)點(diǎn)本地文件接收的訪問量和經(jīng)過該節(jié)點(diǎn)的轉(zhuǎn)發(fā)的??請(qǐng)求量。??17??
【參考文獻(xiàn)】:
期刊論文
[1]Cloud-P2P云存儲(chǔ)結(jié)構(gòu)的模型建立與性能分析[J]. 金順福,王晨飛,陳玲玲,霍占強(qiáng). 通信學(xué)報(bào). 2015(03)
[2]云數(shù)據(jù)安全存儲(chǔ)技術(shù)[J]. 馮朝勝,秦志光,袁丁. 計(jì)算機(jī)學(xué)報(bào). 2015(01)
[3]大數(shù)據(jù)存儲(chǔ)中的容錯(cuò)關(guān)鍵技術(shù)綜述[J]. 宮婧,王文君. 南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版). 2014(04)
[4]對(duì)等網(wǎng)絡(luò)中一種優(yōu)化的副本分布方法[J]. 孫新,李慶洲,趙璞,王克祥,潘凡. 計(jì)算機(jī)學(xué)報(bào). 2014(06)
[5]基于網(wǎng)絡(luò)編碼的傳染路由協(xié)議性能[J]. 韓旭,楊余旺,王磊. 計(jì)算機(jī)應(yīng)用. 2012(03)
[6]云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J]. 王意潔,孫偉東,周松,裴曉強(qiáng),李小勇. 軟件學(xué)報(bào). 2012(04)
[7]重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J]. 付印金,肖儂,劉芳. 計(jì)算機(jī)研究與發(fā)展. 2012(01)
[8]云環(huán)境下多副本管理綜述[J]. 劉田甜,李超,胡慶成,張桂剛. 計(jì)算機(jī)研究與發(fā)展. 2011(S3)
[9]云計(jì)算安全研究[J]. 馮登國(guó),張敏,張妍,徐震. 軟件學(xué)報(bào). 2011(01)
[10]重復(fù)數(shù)據(jù)刪除技術(shù)[J]. 敖莉,舒繼武,李明強(qiáng). 軟件學(xué)報(bào). 2010(05)
本文編號(hào):3502014
【文章來源】:北京郵電大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:115 頁(yè)
【學(xué)位級(jí)別】:博士
【部分圖文】:
圖1-?1云存儲(chǔ)系統(tǒng)模型圖??存儲(chǔ)層:存儲(chǔ)層由物理存儲(chǔ)設(shè)備和管理這些設(shè)備的管理系統(tǒng)組成
?第一章緒論???1.3本文研究?jī)?nèi)容??本文圍繞云存儲(chǔ)應(yīng)用環(huán)境所帶來的數(shù)據(jù)訪問效率、系統(tǒng)存儲(chǔ)利用率以及數(shù)據(jù)可??靠性等問題展開研宄,提出了副本放置算法、副本移除算法以及多副本可靠性策略,??通過合理的副本放置與副本移除實(shí)現(xiàn)云存儲(chǔ)環(huán)境下低存儲(chǔ)消耗、高數(shù)據(jù)訪問效率以??及保證數(shù)據(jù)可靠性的目標(biāo)。本文的具體研宄內(nèi)容如圖1-2所示。??基于云存儲(chǔ)的副本策略關(guān)鍵技術(shù)研宄??副本移除研宂?副本放置研宄??入—.......ZIZ:^—?^ZEIL—J??在復(fù)雜的云存儲(chǔ)應(yīng)用環(huán)境下改善數(shù)據(jù)訪的問效率、保證??應(yīng)用環(huán)1?境變得?敗目標(biāo)'?數(shù)據(jù)的可靠性、提髙系統(tǒng)的存儲(chǔ)利脾?緩解當(dāng)。樵拼鎯(chǔ)??日益復(fù)雜多樣,?牛?…?…?在數(shù)據(jù)訪問效率、??影響數(shù)據(jù)的訪問?1?數(shù)據(jù)可靠性以及??數(shù)據(jù)可靠性研%?#儲(chǔ)利=方面的??以及存儲(chǔ)利用率???問題????超大規(guī)模、高可擴(kuò)展性、高可靠性、虛擬化、按需服務(wù)和價(jià)格低廉等特點(diǎn)的服務(wù)????—???Zv:————?—:??訪問層應(yīng)用接口層基礎(chǔ)管理層存儲(chǔ)層—核心—?基礎(chǔ)管理層??云存儲(chǔ)系統(tǒng)??圖1-2云存儲(chǔ)環(huán)境下副本策略關(guān)鍵技術(shù)研宄內(nèi)容??(1)云存儲(chǔ)環(huán)境下副本放置問題的研宄??在云存儲(chǔ)環(huán)境中,為降低數(shù)據(jù)訪問延遲,均衡系統(tǒng)的負(fù)載,傳統(tǒng)副本放置算法??通常采用”事后調(diào)整閾值”的方法創(chuàng)建和放置副本。然而,在高負(fù)載環(huán)境下,由于閾值??調(diào)整的滯后性,這些算法容易導(dǎo)致節(jié)點(diǎn)過載概率增加,嚴(yán)重的會(huì)形成過載聚集效應(yīng),??影響了數(shù)據(jù)的訪問效率。本文提出了一種分散自適應(yīng)動(dòng)態(tài)副本放置算法來應(yīng)對(duì)該問??題。該算法首先根據(jù)節(jié)點(diǎn)負(fù)載定義了過熱相似度函數(shù),并根據(jù)節(jié)
?放置副本?????|?;?:?;?:?;?i??^?獲取副本創(chuàng)建的最佳時(shí)機(jī)???^?創(chuàng)建副本????放置副本??;??節(jié)點(diǎn)狀態(tài)隸屬函數(shù)?過熱相似度隸屬函數(shù)??|???!??:…——?—??…—?—?.?—?—??jf??因素、??:??—————??^?副本訪問量?節(jié)點(diǎn)預(yù)熱狀態(tài)???節(jié)點(diǎn)的過熱相似度??--??;?;?過熱相似度相似范圍??節(jié)點(diǎn)跟務(wù)能力?裹在與之???節(jié)點(diǎn)度??圖2-1DARS副本放置方法??問請(qǐng)求進(jìn)行回應(yīng)。為有效減低節(jié)點(diǎn)的過載概率,它根據(jù)預(yù)定義的過載閾值,利用過??熱相似度函數(shù)衡量當(dāng)前負(fù)載與過載閾值的關(guān)系,在節(jié)點(diǎn)即將過載時(shí)創(chuàng)建副本,減小??放置節(jié)點(diǎn)過載的概率。為了能夠及時(shí)的將訪問壓力分散到其他節(jié)點(diǎn),DARS在放置??副本時(shí),綜合參考節(jié)點(diǎn)的過熱相似度和放置副本被訪問的概率,采用模糊聚類分析??法從創(chuàng)建節(jié)點(diǎn)的鄰居中選擇最佳副本放置節(jié)點(diǎn)放置副本,降低過載聚集效應(yīng)產(chǎn)生的??概率;同時(shí)通過副本放置均衡系統(tǒng)的負(fù)載、降低數(shù)據(jù)的訪問延遲。??2.3副本創(chuàng)建的時(shí)機(jī)??2.3.1節(jié)點(diǎn)負(fù)載和節(jié)點(diǎn)狀態(tài)之間的關(guān)系??1、節(jié)點(diǎn)負(fù)載??在云存儲(chǔ)環(huán)境下,導(dǎo)致節(jié)點(diǎn)負(fù)載產(chǎn)生變化的因素有很多;其中,數(shù)據(jù)請(qǐng)求和處??理請(qǐng)求是導(dǎo)致節(jié)點(diǎn)負(fù)載增加的重要原因。本文忽略節(jié)點(diǎn)處理請(qǐng)求所導(dǎo)致的負(fù)載,只??考慮數(shù)據(jù)請(qǐng)求;并假定數(shù)據(jù)請(qǐng)求是導(dǎo)致節(jié)點(diǎn)負(fù)載增加的主要原因;同時(shí)假定節(jié)點(diǎn)在??單位時(shí)間內(nèi)接收到的請(qǐng)求量包含節(jié)點(diǎn)本地文件接收的訪問量和經(jīng)過該節(jié)點(diǎn)的轉(zhuǎn)發(fā)的??請(qǐng)求量。??17??
【參考文獻(xiàn)】:
期刊論文
[1]Cloud-P2P云存儲(chǔ)結(jié)構(gòu)的模型建立與性能分析[J]. 金順福,王晨飛,陳玲玲,霍占強(qiáng). 通信學(xué)報(bào). 2015(03)
[2]云數(shù)據(jù)安全存儲(chǔ)技術(shù)[J]. 馮朝勝,秦志光,袁丁. 計(jì)算機(jī)學(xué)報(bào). 2015(01)
[3]大數(shù)據(jù)存儲(chǔ)中的容錯(cuò)關(guān)鍵技術(shù)綜述[J]. 宮婧,王文君. 南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版). 2014(04)
[4]對(duì)等網(wǎng)絡(luò)中一種優(yōu)化的副本分布方法[J]. 孫新,李慶洲,趙璞,王克祥,潘凡. 計(jì)算機(jī)學(xué)報(bào). 2014(06)
[5]基于網(wǎng)絡(luò)編碼的傳染路由協(xié)議性能[J]. 韓旭,楊余旺,王磊. 計(jì)算機(jī)應(yīng)用. 2012(03)
[6]云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J]. 王意潔,孫偉東,周松,裴曉強(qiáng),李小勇. 軟件學(xué)報(bào). 2012(04)
[7]重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J]. 付印金,肖儂,劉芳. 計(jì)算機(jī)研究與發(fā)展. 2012(01)
[8]云環(huán)境下多副本管理綜述[J]. 劉田甜,李超,胡慶成,張桂剛. 計(jì)算機(jī)研究與發(fā)展. 2011(S3)
[9]云計(jì)算安全研究[J]. 馮登國(guó),張敏,張妍,徐震. 軟件學(xué)報(bào). 2011(01)
[10]重復(fù)數(shù)據(jù)刪除技術(shù)[J]. 敖莉,舒繼武,李明強(qiáng). 軟件學(xué)報(bào). 2010(05)
本文編號(hào):3502014
本文鏈接:http://www.sikaile.net/shoufeilunwen/xxkjbs/3502014.html
最近更新
教材專著