【摘要】：隨著大數(shù)據(jù)時代的來臨和數(shù)據(jù)科學發(fā)展的不斷深入,被采集,存儲和處理的數(shù)據(jù)量急劇膨脹,傳統(tǒng)計算機體系架構(gòu)中以“計算為中心”的模式,難以應對數(shù)據(jù)規(guī)模與數(shù)據(jù)處理能力之間日益突出的矛盾,現(xiàn)存的計算機體系架構(gòu)面臨著嚴峻的挑戰(zhàn)和生存瓶頸。近年來,隨著新型非易失性內(nèi)存介質(zhì)技術的興起,打破傳統(tǒng)的體系架構(gòu),構(gòu)建大容量,非易失,高可靠的內(nèi)存系統(tǒng),將數(shù)據(jù)大量或整體存放于內(nèi)存中,形成以內(nèi)存為主體的新型內(nèi)存計算模式,從而完成計算模式從以“計算為中心”向以“數(shù)據(jù)為中心”的轉(zhuǎn)變,成為學術界和工業(yè)界關注的熱點。該技術減少了數(shù)據(jù)存儲的軟件層次,降低了數(shù)據(jù)訪問的延遲,提升了數(shù)據(jù)處理的性能,具備相當?shù)膭?chuàng)新價值和市場價值,成為學術界和工業(yè)界關注的熱點。其中,將非易失性內(nèi)存引入計算機內(nèi)存系統(tǒng)中,構(gòu)建既有易失性內(nèi)存又有非易失性內(nèi)存的內(nèi)存系統(tǒng),又成為研究熱點中的熱點,吸引了大量的學術界研究者和行業(yè)翹楚的目光。本論文以非易失性內(nèi)存為介質(zhì)背景,基于異構(gòu)混合內(nèi)存體系架構(gòu),以存儲類的系統(tǒng)軟件為研究對象,主要探討非易失性內(nèi)存介質(zhì)引入后對軟件設計帶來的影響與變化,提出在異構(gòu)混合內(nèi)存體系架構(gòu)下,存儲類軟件設計面臨的挑戰(zhàn)和解決方法,選取了具有代表性的存儲類系統(tǒng)軟件,文件系統(tǒng)和鍵值對數(shù)據(jù)庫系統(tǒng),詳細闡述基于非易失性內(nèi)存環(huán)境下文件系統(tǒng)以及鍵值對系統(tǒng)的設計原理,實現(xiàn)方法,數(shù)據(jù)一致性保障機制,實驗驗證等方面的問題。在文件系統(tǒng)層面,針對文件系統(tǒng)的數(shù)據(jù)一致性問題,對文件系統(tǒng)的數(shù)據(jù)一致性給出了層次劃分,并針對較高層級的版本數(shù)據(jù)一致性給出了一種新型的多版本一致性保障機制,論證了該多版本一致性機制的有效性和正確性。針對非易失性內(nèi)存有限的訪問壽命,文件系統(tǒng)采用了日志型的數(shù)據(jù)更新方式,盡量保證對底層非易失性內(nèi)存介質(zhì)的均勻訪問,提升系統(tǒng)的耐久性和非易失性介質(zhì)的使用壽命,并通過實驗的方法驗證了日志型文件系統(tǒng)設計方法對非易失性內(nèi)存介質(zhì)的訪問均衡的改善效果。在鍵值對系統(tǒng)層面,針對現(xiàn)有鍵值對系統(tǒng)在整個系統(tǒng)中所占據(jù)的位置和作用,提出不依靠文件系統(tǒng)直接將鍵值對存儲在非易失性內(nèi)存的存儲方法,減少了存儲軟件棧的層級,降低了系統(tǒng)數(shù)據(jù)持久化的代價。同時,基于散列表為主要存儲數(shù)據(jù)結(jié)構(gòu),分別在傳統(tǒng)內(nèi)存DRAM和新型非易失性內(nèi)存NVM中上使用靜態(tài)散列表和動態(tài)散列表,該設計有效地取得了系統(tǒng)性能和內(nèi)存使用效率的平衡,解決了數(shù)據(jù)量不固定的前提下,散列表容量難以固定初始化的問題,大大提升了系統(tǒng)的可移植性和普適性。本文以非易失性內(nèi)存為主要介質(zhì)背景,以存儲類系統(tǒng)軟件為主要研究對象,以文件系統(tǒng)和鍵值對存儲系統(tǒng)為具體研究對象,提出了基于非易失性內(nèi)存環(huán)境下,存儲類系統(tǒng)軟件的設計和實現(xiàn)方法,并討論了數(shù)據(jù)一致性保障機制的實現(xiàn)方法,提出了一種新型的,有效的數(shù)據(jù)一致性保障機制。本論文的主要工作及創(chuàng)新如下:1.設計并實現(xiàn)了一個異構(gòu)混合內(nèi)存文件系統(tǒng)HMFS,該文件系統(tǒng)基于異構(gòu)混合內(nèi)存體系架構(gòu),以非易失性內(nèi)存為主要存儲介質(zhì),具備多版本控制和版本一致性保障機制,實現(xiàn)了文件系統(tǒng)中較高級別的一致性保障層級,文件系統(tǒng)中對文件系統(tǒng)元數(shù)據(jù)和數(shù)據(jù)采用不同的更新方式,對于文件系統(tǒng)數(shù)據(jù)采用原地更新方式,并緩存一部分在DRAM中,以提高數(shù)據(jù)查找的速度,對于文件系統(tǒng)數(shù)據(jù)采用日志型的更新方式,以實現(xiàn)對內(nèi)存介質(zhì)的盡量均勻訪問,增長NVM介質(zhì)的使用壽命。該文件系統(tǒng)提出了一種基于圖的多版本控制數(shù)據(jù)結(jié)構(gòu),并給出一系列的的多版本操作相關算法設計,該設計打破了傳統(tǒng)基于樹結(jié)構(gòu)的多版本實現(xiàn)方法,提升了版本生成,刪除和獲取的性能,降低了文件系統(tǒng)元數(shù)據(jù)的體量大小,設計并實施了全面的實驗方案,從性能,多版本有效性以及介質(zhì)耐久性等多個方面評測了文件系統(tǒng)性能,多版本有效性和對底層非易失性內(nèi)存介質(zhì)的訪問均衡。2.設計并實現(xiàn)了一套文件系統(tǒng)多版本實現(xiàn)機制,該機制以一種新型的支持多版本功能的數(shù)據(jù)結(jié)構(gòu)和一套完整的版本控制算法組成,實現(xiàn)了版本控制的基本功能,如創(chuàng)建、讀取、刪除等,并實現(xiàn)了完全的多版本功能,即可基于已存于系統(tǒng)中的任一版本進行版本演化,子版本與父版本之間無嚴格的生成時間先后順序限制,并可以基于多個版本進行版本合并等,該多版本控制機制有效地提升了版本生成,讀取和刪除的性能,并實現(xiàn)了空間利用效率的提升。該多版本機制同時支持逆向查找功能,可以確定同一個文件屬于哪些版本,并可以列出文件及所屬版本的信息,該多版本控制機制有別于現(xiàn)存的多版本控制機制,全面支持多版本功能的所有操作,并降低了維護多版本所需的元數(shù)據(jù)量,在提升性能的同時取得了良好的空間利用效率。3.設計并實現(xiàn)了一個異構(gòu)混合內(nèi)存鍵值對系統(tǒng)LibreKV,該鍵值對系統(tǒng)基于異構(gòu)混合內(nèi)存體系架構(gòu),以非易失性內(nèi)存為主要存儲介質(zhì),使用靜態(tài)散列表和動態(tài)散列表相結(jié)合的設計方法,實現(xiàn)系統(tǒng)性能和內(nèi)存使用效率的平衡,提出一套動態(tài)擴展機制,實現(xiàn)散列表大小的動態(tài)擴展和內(nèi)存的按需分配。利用傳統(tǒng)內(nèi)存的高性能特點,在DRAM中對鍵值對的讀寫請求進行快速響應,利用新型非易失性內(nèi)存容量大,存儲密度高的特點,完成對鍵值對的持久存儲,并在DRAM和NVM中使用不同的散列表結(jié)構(gòu),DRAM中使用靜態(tài)散列表結(jié)構(gòu),在靜態(tài)散列表中使用布谷鳥散列算法,該方法可快速接收來自客戶端的讀寫請求,并使靜態(tài)散列表到達較高的使用效率。在NVM中,使用動態(tài)散列表和動態(tài)擴展算法,以實現(xiàn)散列表規(guī)模隨實際數(shù)據(jù)量大小而動態(tài)改變的功能,提高了系統(tǒng)的自適應性和可擴展性。同時,針對鍵值對系統(tǒng)數(shù)據(jù)吞吐率高,對數(shù)據(jù)響應速度要求較高的特點,在數(shù)據(jù)一致性保障方面,摒棄了傳統(tǒng)的使用高代價的硬件原語來保證內(nèi)存寫順序的方法,采用了基于鍵值對校驗和和合并檢查點的一致性保障機制,該機制有效地結(jié)合了動態(tài)散列表和檢查點機制的特性,有效降低了系統(tǒng)恢復時所需要檢驗的鍵值對個數(shù),避免了因維護一致性而導致的過大的系統(tǒng)開銷,提升了系統(tǒng)性能。4.提出一種基于校驗和檢查點技術的數(shù)據(jù)一致性保障機制,并將其應用于異構(gòu)混合內(nèi)存鍵值對系統(tǒng)LibreKV中,結(jié)合基于動態(tài)散列表的檢查點機制,實現(xiàn)鍵值對系統(tǒng)數(shù)據(jù)一致性的保障,該一致性保障機制,避免了使用硬件原語保證寫順序來維護一致性的開銷,降低了系統(tǒng)開銷,提升了系統(tǒng)性能。該一致性保障機制可以充分利用鍵值對系統(tǒng)計算鍵值散列值的特性,利用簡單的算法計算鍵值對散列值,并將散列值作為元數(shù)據(jù)一部分進行存儲,作為發(fā)生系統(tǒng)異常和一致性檢驗時的依據(jù)。該方法非常適用于單個數(shù)據(jù)體量不太大的鍵值對存儲系統(tǒng),具有良好的應用系統(tǒng)場景,適應了系統(tǒng)的設計需求,完成了系統(tǒng)的基本要求,為在非易失性內(nèi)存中設計有效的數(shù)據(jù)一致性保障機制維護數(shù)據(jù)的最終一致性并完成鍵值對在非易失性內(nèi)存介質(zhì)上的持久存儲提供了一種參考方案。
【學位授予單位】：上海交通大學
【學位級別】：博士
【學位授予年份】：2018
【分類號】：TP333
【圖文】：

學位論文 第二章 文件系統(tǒng)及存儲類圖 2 3 LSM 樹兩組件結(jié)構(gòu)系統(tǒng)通常會設計一個上限機制，在當 C0 樹因持續(xù)的寫入操作達到或候，將會啟動一個合并過程，來將某些連續(xù)的記錄段從 C0 樹中刪除其過程在圖 2 4 中給出。同時為了有效地利用磁盤，在根節(jié)點之下的續(xù)的多頁面磁盤塊上，類似的優(yōu)化也被放在 B 樹中，在匹配性的查緩存需求，對于根節(jié)點之外的節(jié)點使用 256KB 的多頁面塊大小。

的系統(tǒng)軟件若干問題的研究 上海交通則保存在磁盤上去。在所有的組件對 (Ci-1，Ci) 之間都有一個異步當較小的組件 Ci-1 超過規(guī)定的閾值大小的時候，將其中的記錄移動到LSM 樹中的所有記錄都會被檢查到，對于一個精確匹配查詢和區(qū)間查件。為了盡量簡化搜索的范圍，提高檢索的效率，盡可能少地涉及少們還設計了許多種優(yōu)化的方法，可以使搜索限制在這些組件的某一體來說，多組件 LSM 樹的算法是，我們將一個具有組件 C0、C1、 樹，將其索引樹的大小伴隨著下標的增加而增大，第一個分部最小其中 C0 組件是駐留在內(nèi)存中的，其他組件則保存在磁盤上。在所有用一個異步的滾動合并的進程來負責在當較小的的組件 Ci-1 超過規(guī)轉(zhuǎn)移到 Ci 中去，最終實現(xiàn)全部到達磁盤。

【相似文獻】

相關期刊論文 前10條

1 錢璐;李弋;吳毅堅;趙文耘;;異構(gòu)非易失性內(nèi)存卷模式實現(xiàn)與應用[J];計算機應用與軟件;2018年08期

2 ;創(chuàng)造存儲的無限機會——非易失性內(nèi)存再進化[J];電子與電腦;2006年11期

3 孫強;諸葛晴鳳;陳咸彰;沙行勉;吳林;;帶磨損均衡的小粒度非易失性內(nèi)存管理機制[J];計算機科學;2018年S2期

4 ;科技信息[J];黑龍江科技信息;2011年32期

5 ;全新的非易失性內(nèi)存——第二代3D Xpoint[J];今日電子;2018年08期

6 舒繼武;劉志勇;;前言[J];計算機研究與發(fā)展;2018年09期

7 游理通;王振杰;黃林鵬;;一個基于日志結(jié)構(gòu)的非易失性內(nèi)存鍵值存儲系統(tǒng)[J];計算機研究與發(fā)展;2018年09期

8 ;HOLTEK推出最新器件[J];電子制作;2008年05期

9 ;惠普工作站打造最強解決方案陣容[J];計算機與網(wǎng)絡;2013年08期

10 任啟;;Atmel力推系統(tǒng)方案 重點發(fā)展中國市場[J];世界電子元器件;2006年04期

相關重要報紙文章 前5條

1 阿君;IT管理走向智能化[N];電腦報;2010年

2 編譯 沈建苗;新存儲技術新在哪兒[N];計算機世界;2013年

3 于博;任啟中國情 Atmel亞洲意[N];電子資訊時報;2006年

4 徐昕邋朱杰 劉洪宇 霍光;“脅迫”你用安全PC的四個理由[N];中國計算機報;2007年

5 顧國林;廉價＋多能[N];計算機世界;2004年

相關博士學位論文 前3條

1 劉昊;面向非易失性內(nèi)存的系統(tǒng)軟件若干問題的研究[D];上海交通大學;2018年

2 龍林波;非易失性內(nèi)存的磨損均衡與管理優(yōu)化研究[D];重慶大學;2016年

3 陳咸彰;面向非易失性內(nèi)存的文件系統(tǒng)與頁面交換機制研究[D];重慶大學;2017年

相關碩士學位論文 前7條

1 董康平;基于非易失性內(nèi)存和RDMA的低延遲分布式鍵值存儲系統(tǒng)的設計與實現(xiàn)[D];上海交通大學;2018年

2 陳波;面向分布式非易失性內(nèi)存的新型存儲系統(tǒng)的設計與實現(xiàn)[D];江蘇大學;2019年

3 秦杰杰;Redis數(shù)據(jù)庫在非易失性內(nèi)存上的交換技術的研究與實現(xiàn)[D];重慶大學;2018年

4 孫強;帶磨損均衡的小粒度非易失性內(nèi)存管理系統(tǒng)的設計與實現(xiàn)[D];重慶大學;2018年

5 劉志祥;基于RDMA的非易失性內(nèi)存文件系統(tǒng)設計與實現(xiàn)[D];重慶大學;2018年

6 張小國;基于NVDIMM的非易失性內(nèi)存系統(tǒng)的設計與實現(xiàn)[D];東南大學;2016年

7 賈揚;基于非易失性內(nèi)存的用戶態(tài)內(nèi)存文件系統(tǒng)的設計和實現(xiàn)[D];重慶大學;2017年

本文編號：2730122