本文關(guān)鍵詞：負(fù)載均衡的大數(shù)據(jù)分布存儲(chǔ)方法研究與實(shí)現(xiàn)

  更多相關(guān)文章： 大數(shù)據(jù) 分布式存儲(chǔ) 數(shù)據(jù)分布 負(fù)載均衡

【摘要】：隨著大數(shù)據(jù)的發(fā)展,用戶對(duì)于數(shù)據(jù)存儲(chǔ)的需求越來(lái)越高。這些需求主要體現(xiàn)在可存儲(chǔ)的數(shù)據(jù)規(guī)模、存儲(chǔ)系統(tǒng)的可擴(kuò)展性、可靠性以及讀寫性能等方面。傳統(tǒng)的集中式存儲(chǔ)由于成本或可擴(kuò)展性的限制,不能滿足如今EB或以上數(shù)量級(jí)的存儲(chǔ)需求,因此各種分布式存儲(chǔ)系統(tǒng)應(yīng)運(yùn)而生。數(shù)據(jù)分配策略,作為決定數(shù)據(jù)及其副本的存儲(chǔ)位置和存取方式的基本規(guī)則,是設(shè)計(jì)和實(shí)現(xiàn)分布式存儲(chǔ)系統(tǒng)所需要考慮的一個(gè)關(guān)鍵因素。CRUSH(Controlled Replication Under Scalable Hashing)算法是應(yīng)用于Ceph分布式存儲(chǔ)系統(tǒng)中的一種偽隨機(jī)數(shù)據(jù)分配算法,具有高效率、高可擴(kuò)展性的特點(diǎn)。然而,CRUSH算法在實(shí)現(xiàn)系統(tǒng)負(fù)載均衡上存在不足,具體表現(xiàn)在兩個(gè)方面:首先,該算法對(duì)用戶數(shù)據(jù)在系統(tǒng)中各存儲(chǔ)設(shè)備上的分布不夠均衡,設(shè)備間存儲(chǔ)數(shù)據(jù)量之差可達(dá)到20%。這導(dǎo)致了存儲(chǔ)數(shù)據(jù)多的設(shè)備接受更多的讀寫請(qǐng)求,在總數(shù)據(jù)量大、負(fù)載并發(fā)度高時(shí)成為系統(tǒng)的性能瓶頸。其次,CRUSH算法為了解決同一份數(shù)據(jù)的不同備份在失效域(Failure Domain)間均衡分布的問(wèn)題,提出了一套副本存放規(guī)則。但該規(guī)則提供的原語(yǔ)有限,限制了副本的靈活分配,用戶只能指定數(shù)據(jù)的不同副本在同一等級(jí)的失效域間分布,而不能跨多級(jí)失效域。針對(duì)上述兩個(gè)問(wèn)題,本文分別提出了解決方案。其中,對(duì)于數(shù)據(jù)在系統(tǒng)中各存儲(chǔ)設(shè)備上分布不均衡的問(wèn)題,我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了B-CRUSH算法,它是基于CRUSH算法的一種均衡數(shù)據(jù)分布算法,通過(guò)引入新的哈希函數(shù)、新的選擇分配算法以及自適應(yīng)預(yù)分配模型這三個(gè)步驟來(lái)改進(jìn)現(xiàn)有的CRUSH算法,使得產(chǎn)生的數(shù)據(jù)分配結(jié)果更加均衡,以達(dá)到消除系統(tǒng)“熱點(diǎn)”和瓶頸的目的。對(duì)于有限的副本存放規(guī)則原語(yǔ)問(wèn)題,我們通過(guò)引入新的關(guān)鍵字原語(yǔ)ignore,設(shè)計(jì)并實(shí)現(xiàn)了可以跨多級(jí)失效域的副本存放規(guī)則。該規(guī)則提供了對(duì)副本更細(xì)粒度的控制,能夠一一指定數(shù)據(jù)每個(gè)副本的分配策略,并且保證同一數(shù)據(jù)的當(dāng)前副本不會(huì)被分配到與之前的副本相同的失效域中。此外,本文還通過(guò)實(shí)驗(yàn)對(duì)于上述兩種解決方案進(jìn)行了驗(yàn)證。通過(guò)與現(xiàn)有CRUSH算法的對(duì)比,我們提出的B-CRUSH算法有效地提高了數(shù)據(jù)分布均衡性,并且將系統(tǒng)的隨機(jī)讀性能提升了10%以上;而新的副本存放規(guī)則成功地解決了數(shù)據(jù)副本跨多級(jí)失效域均衡存放的問(wèn)題,為用戶提供了更靈活的副本分配策略。
【關(guān)鍵詞】：大數(shù)據(jù) 分布式存儲(chǔ) 數(shù)據(jù)分布 負(fù)載均衡
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP311.13;TP333
【目錄】：

• 摘要3-5
• ABSTRACT5-13
• 第一章 緒論13-21
• 1.1 研究背景及意義13-15
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀15-19
• 1.3 研究目標(biāo)與內(nèi)容19
• 1.4 論文組織結(jié)構(gòu)19-21
• 第二章 背景工作21-31
• 2.1 Ceph分布式存儲(chǔ)系統(tǒng)21-23
• 2.2 RADOS組件23-24
• 2.3 CRUSH算法24-30
• 2.3.1 CRUSH Map24-29
• 2.3.2 副本存放規(guī)則29-30
• 2.4 本章小結(jié)30-31
• 第三章 問(wèn)題定義31-35
• 3.1 數(shù)據(jù)空間分布均衡性31-33
• 3.2 副本存放規(guī)則原語(yǔ)33-34
• 3.3 本章小結(jié)34-35
• 第四章 算法設(shè)計(jì)35-53
• 4.1 B-CRUSH算法的設(shè)計(jì)35-44
• 4.1.1 pps哈希算法37-39
• 4.1.2 linear類型bucket39-42
• 4.1.3 自適應(yīng)模型42-44
• 4.2 副本存放規(guī)則原語(yǔ)的設(shè)計(jì)44-51
• 4.2.1 同級(jí)失效域間的副本存放規(guī)則47
• 4.2.2 跨多級(jí)失效域的副本存放規(guī)則47-51
• 4.3 本章小結(jié)51-53
• 第五章 算法實(shí)現(xiàn)53-61
• 5.1 B-CRUSH算法實(shí)現(xiàn)55-57
• 5.2 副本存放規(guī)則原語(yǔ)實(shí)現(xiàn)57-59
• 5.3 本章小結(jié)59-61
• 第六章 實(shí)驗(yàn)驗(yàn)證61-77
• 6.1 B-CRUSH算法實(shí)驗(yàn)驗(yàn)證61-71
• 6.1.1 B-CRUSH算法驗(yàn)證環(huán)境61-63
• 6.1.2 B-CRUSH算法驗(yàn)證方法63-64
• 6.1.3 B-CRUSH算法驗(yàn)證結(jié)果64-71
• 6.2 副本存放規(guī)則原語(yǔ)實(shí)驗(yàn)驗(yàn)證71-76
• 6.2.1 副本存放規(guī)則原語(yǔ)驗(yàn)證環(huán)境71
• 6.2.2 副本存放規(guī)則原語(yǔ)驗(yàn)證方法71
• 6.2.3 副本存放規(guī)則原語(yǔ)驗(yàn)證結(jié)果71-76
• 6.3 本章小結(jié)76-77
• 第七章 總結(jié)與展望77-81
• 7.1 全文總結(jié)77-78
• 7.2 研究展望78-81
• 參考文獻(xiàn)81-85
• 致謝85-86
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄86-88

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 袁茵;;數(shù)據(jù)分布服務(wù)推動(dòng)了注重?cái)?shù)據(jù)的系統(tǒng)發(fā)展[J];電子技術(shù);2006年11期

2 夏軍;龐征斌;張峻;李永進(jìn);;一種基于0-1整數(shù)規(guī)劃的全局?jǐn)?shù)據(jù)分布優(yōu)化方法[J];國(guó)防科技大學(xué)學(xué)報(bào);2009年04期

3 鄭勝;郝毫毫;;基于貝努利大數(shù)定律的數(shù)據(jù)分布算法[J];計(jì)算機(jī)工程;2009年19期

4 丁瑩;幾種數(shù)據(jù)分布設(shè)計(jì)方法的比較與進(jìn)一步探討[J];計(jì)算機(jī)時(shí)代;1994年04期

5 丁瑩;幾種數(shù)據(jù)分布設(shè)計(jì)方法的探討[J];微型電腦應(yīng)用;1994年04期

6 武繼剛，龐淑萍;堆上的數(shù)據(jù)分布與堆選擇算法[J];計(jì)算技術(shù)與自動(dòng)化;1995年04期

7 陳楠;分布式數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)分布策略分析[J];計(jì)算機(jī)時(shí)代;1998年10期

8 錢旭明;;數(shù)據(jù)分布規(guī)劃的數(shù)學(xué)模型[J];寧波大學(xué)學(xué)報(bào)(理工版);1992年02期

9 王于同;一種以負(fù)載平衡為目標(biāo)的分布式數(shù)據(jù)分布算法[J];杭州電子工業(yè)學(xué)院學(xué)報(bào);1995年02期

10 王秀坤,吳月堂,張盛;一種有效的數(shù)據(jù)分布算法[J];計(jì)算機(jī)工程與應(yīng)用;2000年12期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 胥永康;岳筱玲;潘澤友;;基于數(shù)據(jù)分布的勞動(dòng)力市場(chǎng)信息系統(tǒng)[A];第六屆全國(guó)計(jì)算機(jī)應(yīng)用聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2002年

2 李宏;;港口企業(yè)信息系統(tǒng)數(shù)據(jù)分布技術(shù)[A];全國(guó)飛機(jī)與船舶通信導(dǎo)航學(xué)術(shù)研討會(huì)論文集（下）[C];2000年

3 陳楠;;分布式數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)分布策略研究[A];信息科學(xué)與微電子技術(shù):中國(guó)科協(xié)第三屆青年學(xué)術(shù)年會(huì)論文集[C];1998年

4 王e，

本文編號(hào)：577773