本文關(guān)鍵詞：NoSQL存儲(chǔ)系統(tǒng)的相關(guān)算法改進(jìn)與性能測(cè)試，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著云計(jì)算和大數(shù)據(jù)的興起,尤其是近幾年來海量級(jí)數(shù)據(jù)規(guī)模的應(yīng)用不斷涌現(xiàn)，非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和處理需求迅速增長(zhǎng),這些新的海量數(shù)據(jù)應(yīng)用對(duì)數(shù)據(jù)存儲(chǔ)有了新的需求。同時(shí)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)無法滿足Web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)SNS類型的網(wǎng)站的需求，各大互聯(lián)網(wǎng)公司和網(wǎng)絡(luò)存儲(chǔ)公司對(duì)維護(hù)關(guān)系數(shù)據(jù)庫(kù)的成本越來越高。由于關(guān)系型數(shù)據(jù)庫(kù)的架構(gòu)設(shè)計(jì)問題如數(shù)據(jù)結(jié)構(gòu)單一、查詢過程相對(duì)復(fù)雜，暴露出一些無法克服的問題，因此急需一種新的存儲(chǔ)性能高的數(shù)據(jù)庫(kù)來補(bǔ)充甚至取代關(guān)系型數(shù)據(jù)庫(kù)。而NoSQL存儲(chǔ)系統(tǒng)則由于自身的優(yōu)勢(shì)，如高性能，，高可用性，可擴(kuò)展性，數(shù)據(jù)模型靈活，得到了迅速發(fā)展，其非結(jié)構(gòu)化分布式存儲(chǔ)系統(tǒng)的性能分析與調(diào)優(yōu)也成為了業(yè)界的熱點(diǎn)研究問題。 本文首先在查閱相關(guān)NoSQL理論技術(shù)的基礎(chǔ)上，從NoSQL數(shù)據(jù)庫(kù)的優(yōu)勢(shì)特點(diǎn)出發(fā)，分析存儲(chǔ)系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)需要遵循的原則。通過研究目前主流的NoSQL數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)，參考國(guó)外NoSQL產(chǎn)品的實(shí)現(xiàn)，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于NoSQL的存儲(chǔ)系統(tǒng)，以及開發(fā)性能測(cè)試工具對(duì)系統(tǒng)進(jìn)行了有效的性能分析與評(píng)測(cè)。本文的主要的研究?jī)?nèi)容如下： (1)通過對(duì)NoSQL數(shù)據(jù)模型的深入分析和研究，實(shí)現(xiàn)了基于key-value數(shù)據(jù)模型的存儲(chǔ)系統(tǒng)，支持基本命令查詢，支持完成一組命令的事務(wù)機(jī)制，利用設(shè)計(jì)模式中的觀察者思想實(shí)現(xiàn)訂閱信息功能，支持key-value數(shù)據(jù)存儲(chǔ)在多個(gè)服務(wù)器集群等基本功能，并對(duì)系統(tǒng)中使用的API功能作了詳細(xì)的分析。 (2)深入分析研究了傳統(tǒng)NoSQL存儲(chǔ)系統(tǒng)中常用數(shù)據(jù)結(jié)構(gòu)和算法存在的問題，通過改進(jìn)和完善一些低效的數(shù)據(jù)結(jié)構(gòu)和算法，提高存儲(chǔ)系統(tǒng)存儲(chǔ)效率和降低CPU消耗，重點(diǎn)研究和改進(jìn)了一致性哈希算法，通過加入虛擬節(jié)點(diǎn)，解決了傳統(tǒng)NoSQL存儲(chǔ)系統(tǒng)中一致性哈希算法平衡性的問題。 (3)通過對(duì)存儲(chǔ)系統(tǒng)性能測(cè)試分析和設(shè)計(jì)，開發(fā)出基準(zhǔn)性能測(cè)試工具menkv-benchmark，解決了NoSQL存儲(chǔ)系統(tǒng)測(cè)試設(shè)備不足和測(cè)試設(shè)備性能差異性問題，產(chǎn)生了一系列的測(cè)試結(jié)果，通過具體的測(cè)試數(shù)據(jù)對(duì)比證明系統(tǒng)的平均性能每秒可以處理15000個(gè)命令，性能高于GlobalsDB存儲(chǔ)系統(tǒng)，從而證明了系統(tǒng)性能的可靠性和有效性。
【關(guān)鍵詞】：NoSQL 鍵值對(duì) 一致性哈希 性能測(cè)試
【學(xué)位授予單位】：武漢理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333;TP311.13
【目錄】：

• 摘要4-5
• Abstract5-9
• 第1章 緒論9-13
• 1.1 研究背景9-10
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀10-11
• 1.3 論文的主要研究工作11-12
• 1.4 論文組織結(jié)構(gòu)12-13
• 第2章 NoSQL 相關(guān)技術(shù)分析13-18
• 2.1 NoSQL 和 SQL 的區(qū)別13-14
• 2.2 NoSQL 數(shù)據(jù)模型的選擇14-16
• 2.3 存儲(chǔ)系統(tǒng)讀寫要求16-17
• 2.4 本章小結(jié)17-18
• 第3章 NoSQL 存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)18-37
• 3.1 鍵值對(duì)及基本命令19-24
• 3.1.1 Key-Value 鍵值對(duì)的設(shè)計(jì)19-20
• 3.1.2 基本命令的設(shè)計(jì)20-22
• 3.1.3 命令底層 API 設(shè)計(jì)22-24
• 3.2 事務(wù)機(jī)制24-30
• 3.2.1 事務(wù)機(jī)制的階段性25-27
• 3.2.2 事務(wù)執(zhí)行流程的實(shí)現(xiàn)27-29
• 3.2.3 事務(wù)的 ACID 性質(zhì)29-30
• 3.3 觀察者模式30-33
• 3.3.1 訂閱通道的設(shè)計(jì)與實(shí)現(xiàn)31-32
• 3.3.2 發(fā)送信息到通道的設(shè)計(jì)與實(shí)現(xiàn)32-33
• 3.4 集群機(jī)制33-36
• 3.4.1 集群工作原理33-34
• 3.4.2 集群節(jié)點(diǎn)在線配置34-35
• 3.4.3 容錯(cuò)機(jī)制35-36
• 3.5 本章小結(jié)36-37
• 第4章 存儲(chǔ)系統(tǒng)數(shù)據(jù)結(jié)構(gòu)和算法分析37-47
• 4.1 字符串對(duì)象37-38
• 4.1.1 字符串改進(jìn)數(shù)據(jù)結(jié)構(gòu)37
• 4.1.2 字符串改進(jìn)算法37-38
• 4.2 Bitmap 數(shù)據(jù)結(jié)構(gòu)和算法分析38-40
• 4.2.1 Bitmap 數(shù)據(jù)結(jié)構(gòu)38-39
• 4.2.2 算法應(yīng)用分析39-40
• 4.3 一致性哈希算法40-46
• 4.3.1 基本案例場(chǎng)景40-41
• 4.3.2 一致性哈希算法的研究41-43
• 4.3.3 一致性哈希算法的改進(jìn)43-46
• 4.4 本章小結(jié)46-47
• 第5章 NoSQL 存儲(chǔ)系統(tǒng)性能測(cè)試47-62
• 5.1 影響性能測(cè)試的因素47-49
• 5.2 傳統(tǒng)的 NoSQL 存儲(chǔ)系統(tǒng)測(cè)試49
• 5.3 性能測(cè)試工具設(shè)計(jì)與實(shí)現(xiàn)49-53
• 5.3.1 性能測(cè)試工具設(shè)計(jì)49-51
• 5.3.2 性能測(cè)試工具實(shí)現(xiàn)51-53
• 5.4 不同場(chǎng)景系統(tǒng)性能測(cè)試53-60
• 5.4.1 管道包裹命令測(cè)試53-55
• 5.4.2 網(wǎng)絡(luò)協(xié)議性能測(cè)試55-58
• 5.4.3 請(qǐng)求數(shù)量性能測(cè)試58-60
• 5.5 存儲(chǔ)系統(tǒng)性能對(duì)比分析60-61
• 5.6 本章小結(jié)61-62
• 第6章 總結(jié)與展望62-64
• 6.1 總結(jié)62
• 6.2 展望62-64
• 致謝64-65
• 參考文獻(xiàn)65-66

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前4條

1 陳超;王亮;閆浩文;仇阿根;李玉祥;朱芳菲;;一種基于NoSQL的地圖瓦片數(shù)據(jù)存儲(chǔ)技術(shù)[J];測(cè)繪科學(xué);2013年01期

2 黃秋蘭;程耀東;陳剛;;分布式存儲(chǔ)系統(tǒng)的哈希算法研究[J];計(jì)算機(jī)工程與應(yīng)用;2014年01期

3 魏兵;姚敏;沈志榮;;Google Bigtable系統(tǒng)的可信性研究[J];信息網(wǎng)絡(luò)安全;2011年12期

4 涂振發(fā);孟令奎;張文;黃長(zhǎng)青;;面向分布式GIS空間數(shù)據(jù)的Key-value緩存[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2013年11期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 劉曉茜;云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

  本文關(guān)鍵詞：NoSQL存儲(chǔ)系統(tǒng)的相關(guān)算法改進(jìn)與性能測(cè)試，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：353746