在現(xiàn)代計(jì)算機(jī)系統(tǒng)中,幾個(gè)主要組成部分的速度存在明顯差異,其中以CPU緩存、內(nèi)存和硬盤最為明顯。其中處理速度排序?yàn)镃PU緩存>內(nèi)存>硬盤。CPU緩存與內(nèi)存之間,內(nèi)存與硬盤之間的速度差異通常為指數(shù)級(jí),而許多運(yùn)算操作都是重復(fù)地針對(duì)某一小部分?jǐn)?shù)據(jù)的,因此在各級(jí)存儲(chǔ)器之間利用緩存技術(shù)（Cache）就可以大大提高處理速度。在操作系統(tǒng)層次,通常是在內(nèi)存和硬盤之間使用Page Cache來(lái)提高對(duì)文件訪問(wèn)速度的。但隨著大數(shù)據(jù)處理應(yīng)用的爆炸式發(fā)展,傳統(tǒng)cache系統(tǒng)已經(jīng)不能滿足對(duì)大數(shù)據(jù)讀寫的性能要求,而大數(shù)據(jù)的讀寫已經(jīng)成為影響整個(gè)網(wǎng)絡(luò)性能的至關(guān)重要的一環(huán),并成為當(dāng)今科研的焦點(diǎn)。對(duì)于依賴I/O性能的應(yīng)用,典型的如數(shù)據(jù)庫(kù),一直等待新的技術(shù)出現(xiàn)以打破性能瓶頸。在此之前,身軀龐大的高端存儲(chǔ),動(dòng)輒重達(dá)幾噸。相比于存儲(chǔ)里帶的硬盤來(lái)說(shuō),價(jià)格貴得離譜,而存儲(chǔ)的附加價(jià)值,在于I/O在大量硬盤之間的均衡分布,以及I/O鏈路的多路容災(zāi),以及部分固件層面的優(yōu)化和數(shù)據(jù)保護(hù)等。隨著SSD等固態(tài)硬盤的出現(xiàn),上述問(wèn)題得到了緩解。SSD將硬盤存儲(chǔ)從機(jī)械產(chǎn)品變成了電子產(chǎn)品,性能更好,功耗更小,延時(shí)更優(yōu)。在這種情況下,Facebo... 

【文章來(lái)源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：64 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 課題研究的背景和現(xiàn)狀
        1.1.1 大數(shù)據(jù)存儲(chǔ)的發(fā)展和現(xiàn)狀
        1.1.2 大數(shù)據(jù)四大典型特征
        1.1.3 大數(shù)據(jù)處理在緩存級(jí)別的嘗試
        1.1.4 分布式存儲(chǔ)的現(xiàn)狀
    1.2 課題研究意義
    1.3 論文的主要內(nèi)容和章節(jié)安排
第二章 Linux的Cache系統(tǒng)以及寫回算法
    2.1 Linux文件的Page Cache
        2.1.1 緩存方法
        2.1.2 Page Cache在Linux系統(tǒng)的作用
        2.1.3 Page Cache在Linux中的位置
        2.1.4 Page Cache的預(yù)讀取算法
        2.1.5 Page Cache替換算法
        2.1.6 Page Cache的刷新機(jī)制
    2.2 分布式寫回系統(tǒng)
        2.2.1 傳統(tǒng)閉環(huán)寫回系統(tǒng)
        2.2.2 新閉環(huán)寫回系統(tǒng)
    2.3 新型寫回算法
        2.3.1 改進(jìn)的細(xì)流寫回算法(Modified Trickle Write-Back)
        2.3.2 固定寫回間隔算法(Fixed Interval Algorithm)
        2.3.3 可變寫回間隔算法(Fixed Interval Algorithm)
        2.3.4 量子寫回算法(Quantum Write-Back)
        2.3.5 速率變化比例算法(Rate of Change Proportional Algorithm)
第三章 FsCache、NFS的設(shè)計(jì)與實(shí)現(xiàn)
    3.1 FsCache的設(shè)計(jì)與實(shí)現(xiàn)
        3.1.1 FsCache的設(shè)計(jì)構(gòu)架
        3.1.2 FsCache的基本操作和提供的服務(wù)
        3.1.3 FsCache在性能方面的折中
        3.1.4 FsCache的對(duì)象和索引設(shè)計(jì)
        3.1.5 FsCache的當(dāng)前性能
    3.2 NFS的設(shè)計(jì)與實(shí)現(xiàn)
        3.2.1 NFS在內(nèi)核中的調(diào)用
        3.2.2 服務(wù)器端的實(shí)現(xiàn)
        3.2.3 客戶端的實(shí)現(xiàn)
        3.2.4 從協(xié)議到分布式文件系統(tǒng)
        3.2.5 客戶端分布式文件系統(tǒng)的緩存
第四章 FsCache/NFS write-back緩存的設(shè)計(jì)
    4.1 FsCache write-back緩存的設(shè)計(jì)
        4.1.1 FsCache緩存項(xiàng)的結(jié)構(gòu)的設(shè)計(jì)
        4.1.2 FsCache寫回控制信息的數(shù)據(jù)結(jié)構(gòu)
        4.1.3 寫回控制信息數(shù)據(jù)結(jié)構(gòu)間的關(guān)系
        4.1.4 分布式文件系統(tǒng)的注冊(cè)
        4.1.5 FsCache的線程池寫回機(jī)制
    4.2 為NFS添加Write-Back FsCache的功能
        4.2.1 與Page Cache交互額數(shù)據(jù)機(jī)構(gòu)
        4.2.2 NFS將用戶數(shù)據(jù)寫入Page Cache的過(guò)程
        4.2.3 NFS傳統(tǒng)的臟頁(yè)刷新過(guò)程
        4.2.4 NFS改進(jìn)后的臟頁(yè)寫回過(guò)程
        4.2.5 NFS對(duì)FsCache寫回設(shè)備的注冊(cè)和注銷
第五章 FsCache/NFS寫回緩存性能分析
    5.1 客戶端密集寫操作速度
        5.1.1 默認(rèn)寫回算法的性能
        5.1.2 調(diào)整寫回算法的時(shí)間間隔T
        5.1.3 調(diào)整寫回算法的寫回強(qiáng)度H
    5.2 網(wǎng)絡(luò)情況的改善
        5.2.1 客戶端發(fā)送數(shù)據(jù)量
        5.2.2 客戶端接收的數(shù)據(jù)量
        5.2.3 客戶端對(duì)網(wǎng)絡(luò)帶寬的占用
第六章 結(jié)束語(yǔ)
    6.1 論文工作總結(jié)
    6.2 進(jìn)一步技術(shù)展望
參考文獻(xiàn)
致謝
攻讀碩士學(xué)位期間發(fā)表的論文


【參考文獻(xiàn)】：
期刊論文
[1]架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J]. 王珊,王會(huì)舉,覃雄派,周烜.  計(jì)算機(jī)學(xué)報(bào). 2011(10)
[2]Linux頁(yè)面緩存機(jī)制分析及其對(duì)磁盤I/O性能影響[J]. 張學(xué)亮,左小翠.  計(jì)算機(jī)與現(xiàn)代化. 2010(02)



本文編號(hào)：3375644