本文關(guān)鍵詞：基于Swift的小對象訪問性能優(yōu)化研究與實(shí)現(xiàn)

  更多相關(guān)文章： 分布式存儲(chǔ)系統(tǒng) Swift 小文件 訪問預(yù)取

【摘要】：伴隨著互聯(lián)網(wǎng)的快速發(fā)展與普及,越來越多的個(gè)人用戶在使用網(wǎng)絡(luò)應(yīng)用的同時(shí)產(chǎn)生大量的數(shù)據(jù)。而云技術(shù)的發(fā)展也使得更多的企業(yè)用戶選擇將數(shù)據(jù)服務(wù)遷移到云中。在電子商務(wù)、社交網(wǎng)站、視頻服務(wù)等網(wǎng)絡(luò)應(yīng)用中,服務(wù)端每天都產(chǎn)生大量的小文件,久而久之小文件的數(shù)量呈幾何級(jí)增長。傳統(tǒng)的存儲(chǔ)系統(tǒng)往往針對大文件進(jìn)行設(shè)計(jì),在面對小文件存儲(chǔ)時(shí)往往性能低下。本文以O(shè)penstack Swift分布式存儲(chǔ)系統(tǒng)為實(shí)驗(yàn)平臺(tái),利用小文件存儲(chǔ)的特點(diǎn),對存儲(chǔ)系統(tǒng)讀寫性能優(yōu)化進(jìn)行研究。首先,Swift中的對象服務(wù)通過調(diào)用底層文件系統(tǒng)對數(shù)據(jù)進(jìn)行讀寫。在面對小文件的隨機(jī)訪問時(shí),存儲(chǔ)節(jié)點(diǎn)需要頻繁從磁盤中讀取元數(shù)據(jù),浪費(fèi)了大量的磁盤I/O。本文提出對文件進(jìn)行合并存取的Swift改進(jìn)方案,并在內(nèi)存中建立文件的索引,減少元數(shù)據(jù)使用空間。存儲(chǔ)節(jié)點(diǎn)可以將所有的文件元數(shù)據(jù)緩存在內(nèi)存中,在小文件訪問時(shí)只需要一次連續(xù)的磁盤I/O操作,以此改善Swift存儲(chǔ)系統(tǒng)在處理小文件場景下的隨機(jī)讀寫性能。通過對文件組織形式的改變,以虛擬分區(qū)進(jìn)行文件整合,以此降低數(shù)據(jù)遷移時(shí)對系統(tǒng)帶寬的影響。其次,對于分布式存儲(chǔ)系統(tǒng),其外部的CDN服務(wù)往往具備緩存功能。時(shí)間局部性強(qiáng)的數(shù)據(jù)通過被外部緩存被讀取,從而導(dǎo)致存儲(chǔ)系統(tǒng)本身的數(shù)據(jù)緩存命中率降低。本文提出基于預(yù)取緩存的Swift改進(jìn)框架。將對文件訪問的日志記錄進(jìn)行分析,利用數(shù)據(jù)挖掘的方式計(jì)算出文件的訪問模式。將相關(guān)性強(qiáng)的小文件進(jìn)行合并存儲(chǔ),并且在訪問過程中對文件進(jìn)行預(yù)取,用以增加Swift存儲(chǔ)系統(tǒng)的數(shù)據(jù)緩存效果。在緩存過程中對文件的相關(guān)率進(jìn)行驗(yàn)證,降低錯(cuò)誤的預(yù)取對系統(tǒng)性能的影響。最后,本文通過Cosbench模擬不同大小的文件讀寫,對整合了合并存儲(chǔ)優(yōu)化模塊的Swift存儲(chǔ)系統(tǒng)進(jìn)行測評,驗(yàn)證對小文件讀寫的性能的改進(jìn)效果。并通過真實(shí)的訪問日志,模擬其訪問過程,分析預(yù)取模塊對系統(tǒng)性能的影響。實(shí)驗(yàn)表明,基于合并存儲(chǔ)的方式在面對越小的文件時(shí),系統(tǒng)帶寬提升效果越明顯。合并的方式也可以有效的降低數(shù)據(jù)遷移對系統(tǒng)吞吐量的影響�；谖募P(guān)聯(lián)的預(yù)取策略雖然會(huì)降低系統(tǒng)帶寬,但可以有效的提高系統(tǒng)的平均響應(yīng)時(shí)間。
【關(guān)鍵詞】：分布式存儲(chǔ)系統(tǒng) Swift 小文件 訪問預(yù)取
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-8
• 第1章 緒論8-13
• 1.1 課題背景及研究的目的和意義8-9
• 1.2 國內(nèi)外相關(guān)研究9-11
• 1.2.1 云存儲(chǔ)研究現(xiàn)狀9-10
• 1.2.2 數(shù)據(jù)預(yù)取研究現(xiàn)狀10-11
• 1.3 研究內(nèi)容11
• 1.4 本文組織結(jié)構(gòu)安排11-13
• 第2章 相關(guān)技術(shù)研究13-23
• 2.1 分布式對象存儲(chǔ)系統(tǒng)概述13
• 2.2 Openstack Swift對象存儲(chǔ)系統(tǒng)13-20
• 2.2.1 Openstack Swift簡介13-14
• 2.2.2 Swift架構(gòu)14-15
• 2.2.3 數(shù)據(jù)容錯(cuò)15-16
• 2.2.4 一致性哈希環(huán)16-19
• 2.2.5 數(shù)據(jù)一致性19-20
• 2.2.6 文件組織結(jié)構(gòu)20
• 2.3 存儲(chǔ)節(jié)點(diǎn)數(shù)據(jù)訪問20-22
• 2.4 本章小結(jié)22-23
• 第3章 基于合并存儲(chǔ)優(yōu)化策略23-35
• 3.1 小文件訪問的性能瓶頸23-24
• 3.2 合并存儲(chǔ)優(yōu)化策略24-25
• 3.3 Swift改進(jìn)系統(tǒng)總體架構(gòu)25-28
• 3.3.1 系統(tǒng)總體架構(gòu)25-26
• 3.3.2 系統(tǒng)讀寫流程26-28
• 3.4 Swift改進(jìn)系統(tǒng)詳細(xì)模塊28-34
• 3.4.1 核心調(diào)度模塊28-30
• 3.4.2 索引管理模塊30-32
• 3.4.3 緩沖管理模塊32-33
• 3.4.4 刪除統(tǒng)計(jì)模塊33
• 3.4.5 數(shù)據(jù)整理模塊33-34
• 3.5 本章小結(jié)34-35
• 第4章 基于訪問關(guān)聯(lián)性的預(yù)取策略35-48
• 4.1 預(yù)取緩存策略35-36
• 4.1.1 數(shù)據(jù)訪問特性35
• 4.1.2 預(yù)取緩存模型35-36
• 4.2 對象集合挖掘算法36-42
• 4.2.1 基于潛在中間層的概率分析算法36-38
• 4.2.2 基于頻繁項(xiàng)集的算法38-40
• 4.2.3 基于距離的聚類算法40-42
• 4.3 集合相關(guān)率與緩存替換算法42-44
• 4.3.1 對象集合相關(guān)率42
• 4.3.2 緩存替換算法42-44
• 4.4 基于訪問關(guān)聯(lián)性的預(yù)取的設(shè)計(jì)與實(shí)現(xiàn)44-47
• 4.4.1 總體結(jié)構(gòu)設(shè)計(jì)44-46
• 4.4.2 存儲(chǔ)節(jié)點(diǎn)緩存服務(wù)46
• 4.4.3 代理節(jié)點(diǎn)緩存服務(wù)46
• 4.4.4 分析服務(wù)46-47
• 4.5 本章小結(jié)47-48
• 第5章 實(shí)驗(yàn)設(shè)計(jì)與分析48-57
• 5.1 實(shí)驗(yàn)設(shè)計(jì)48
• 5.2 實(shí)驗(yàn)環(huán)境48-49
• 5.3 性能測試與分析49-56
• 5.3.1 基于合并存儲(chǔ)的優(yōu)化策略實(shí)驗(yàn)49-53
• 5.3.2 基于訪問關(guān)聯(lián)性的預(yù)取策略實(shí)驗(yàn)53-56
• 5.4 本章小結(jié)56-57
• 結(jié)論57-58
• 參考文獻(xiàn)58-63
• 致謝63

，

本文編號(hào)：860000