發(fā)布時間：2020-04-13 00:39

【摘要】：在大數(shù)據(jù)時代,計算機存儲和處理的數(shù)據(jù)規(guī)模呈爆炸式增長。近幾年來,大數(shù)據(jù)分布式存儲與并行計算技術也得到了長足的發(fā)展。以Alluxio系統(tǒng)為代表的分布式內存文件系統(tǒng),能夠給傳統(tǒng)的分布式存儲帶來顯著的性能提升。層次化分布式存儲系統(tǒng)為了提升數(shù)據(jù)訪問的效率,通常都會采用熱數(shù)據(jù)緩存機制。然而,現(xiàn)有分布式內存文件系統(tǒng)的緩存機制還難以高效地支撐頻繁小規(guī)模數(shù)據(jù)量的讀取和多租戶共享緩存空間的場景應用。首先,對頻繁隨機訪問大文件和重復訪問大量小文件這些小規(guī)模數(shù)據(jù)訪問的場景下,現(xiàn)有的緩存技術依然主要依賴于服務端緩存,而并沒有充分發(fā)揮客戶端緩存的優(yōu)勢。第二,在服務端多租戶共享緩存空間的場景下,現(xiàn)有的緩存共享算法難以有效地兼顧公平性與效率性能。因此,現(xiàn)有的分布式文件系統(tǒng)的緩存技術,難以滿足小規(guī)模數(shù)據(jù)高效緩存和多租戶共享緩存空間場景的諸多應用需求。針對上述問題,本文提出了一種基于子模優(yōu)化算法的細粒度客戶端緩存模型,以及兩種新型多租戶緩存共享策略,并構建了一套完整的緩存框架。論文主要研究工作和貢獻點包括:(1)在客戶端緩存方面,針對小規(guī)模數(shù)據(jù)緩存低效的問題,本文設計了一種新型的細粒度緩存模型,能夠管理包含部分重合片段的變長緩存塊。在該緩存模型中,本文將緩存問題抽象為子模函數(shù)優(yōu)化問題,在處理部分重合的文件片段集合時,使用子模優(yōu)化算法識別熱數(shù)據(jù),并提供同步/異步緩存替換/提升策略。(2)在服務端緩存方面,本文提出了兩種多租戶緩存共享算法:高效公平共享(Efficient Sharing based on Fairness,ESF)算法和比例公平(Proportion Fairness,PF)算法。其中,ESF算法綜合考慮命中率衰減、資源使用率和共享文件訪問;PF算法滿足無怨(Envy Free)屬性,從而實時保證用戶效益衰減值總和不高于效益上升值總和。(3)本文還綜合上述技術設計實現(xiàn)了一套多租戶緩存框架,提供多緩存機制擴展、多系統(tǒng)支撐、以及多租戶管理。該框架包括應用層、緩存服務層、中間件層、以及存儲層。應用層提供客戶端緩存;緩存服務層管理數(shù)據(jù)與元數(shù)據(jù),支持可插拔的緩存遷移策略;中間件層包含外部緩存與依賴組件;存儲層包含多個底層存儲系統(tǒng)。實驗表明,在客戶端緩存方面,本文提出的細粒度緩存技術能夠比服務端塊緩存提升系統(tǒng)隨機讀取速度4倍左右;在服務端緩存方面,相較于現(xiàn)有緩存共享算法,在保證較高公平性前提下,本文提出的ESF和PF算法能有效提升全局命中率,且在用戶訪問不均衡場景下具有更高的公平性。
【圖文】：

Ａｌｌｕｘｉｏ是全球首個基于內存的大數(shù)據(jù)分布式存儲系統(tǒng)，發(fā)源于著名的ＵＣ逡逑Ｂｅｒｋｅｌｅｙ邋ＡＭＰ實驗室（Ｓｐａｒｋ的發(fā)源地）的研究項目，目前已被阿里巴巴、騰訊、逡逑百度等互聯(lián)網(wǎng)公司廣泛使用。如圖２－１所示，，Ａｌｌｕｘｉｏ介于計算框架和現(xiàn)有的存儲逡逑系統(tǒng)之間，其設計目標是，在底層集成并支持現(xiàn)有的各種主流大數(shù)據(jù)存儲系統(tǒng)，逡逑利用分布式內存為上層大數(shù)據(jù)計算框架提供數(shù)據(jù)訪問加速，并提供統(tǒng)一的數(shù)據(jù)訪逡逑問接口。Ａｌｌｕｘｉｏ主要有以下特性：逡逑（１）

第三章基于子模優(yōu)化策略的客戶端細粒度著文件系統(tǒng)存儲的數(shù)據(jù)規(guī)模日益增大，基于文件系統(tǒng)的上層應用程性能的要求也越來越高�？蛻舳司彺娉蔀榱艘环N常見的降低Ｉ／Ｏ響用服務質量的技術。本章面向分布式文件系統(tǒng)中隨機讀取變長、部片段這一訪問模式，提出并實現(xiàn)了一種新型客戶端緩存模型，并將存問題轉化為子模函數(shù)優(yōu)化問題，引入子模優(yōu)化算法作為緩存遷移端緩存性能。逡逑章將從本文提出的客戶端緩存整體架構、客戶端緩存管理、子模優(yōu)緩存遷移框架以及系統(tǒng)層優(yōu)化技術五部分介紹客戶端緩存模型。逡逑戶端緩存整體架構逡逑戶端緩存的整體架構如圖３－１所示，包括如下模塊：逡逑
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 石曉珍;;客戶端緩存策略[J];計算機時代;2007年05期

2 滕逸龍,秦彬娟,劉鳳玉;客戶端緩存容量的分區(qū)流切入算法[J];計算機工程與應用;2003年01期

3 李楚;馮丹;王芳;;一種高性能高可靠的混合客戶端緩存系統(tǒng)[J];計算機研究與發(fā)展;2017年11期

4 董慧穎;陸瑩;王洪斌;杜春燕;;客戶端緩存模擬器的設計與實現(xiàn)[J];信息技術;2008年07期

5 呂鋒;鮑剛;;基于客戶端緩存提高Java RMI性能的方法[J];計算機工程與設計;2008年17期

6 周天平;李俊;奚宏生;;流媒體代理緩存技術研究[J];電子技術;2008年06期

7 陳Z牧

本文編號：2625375