帶磨損均衡的小粒度非易失性內(nèi)存管理系統(tǒng)的設(shè)計與實現(xiàn)
發(fā)布時間:2020-04-19 23:21
【摘要】:近年來,隨著信息技術(shù)的普及,大量的數(shù)據(jù)在源源不斷的產(chǎn)生、處理和存儲,因此,龐大的需求對存儲技術(shù)的要求也越來越高。非易失性內(nèi)存作為新興的存儲技術(shù),以其高訪問速度、高存儲密度、可字節(jié)尋址和非易失性等優(yōu)點被視為潛力巨大的存儲技術(shù)。從嵌入式系統(tǒng)到普通計算機到大型的數(shù)據(jù)中心,非易失性內(nèi)存正在被越來越多的部署成單一型或者混合型的存儲系統(tǒng)。在這些系統(tǒng)中,不同的應(yīng)用場景會產(chǎn)生大量的小粒度數(shù)據(jù),而這些數(shù)據(jù)的頻繁更新和分散分布對存儲系統(tǒng)的讀寫壽命和訪問性能帶來巨大的考驗。非易失性內(nèi)存(Non-Volatile Memory,NVM)作為新興的存儲技術(shù),在進行應(yīng)用時需要面對以下兩個問題:(1)NVM的存儲單元存在寫耐受度低的缺點,使其難以承受頻繁的小粒度數(shù)據(jù)更新操作。(2)傳統(tǒng)的內(nèi)存管理技術(shù)沒有考慮到數(shù)據(jù)更新操作帶來的讀寫壽命問題。(3)傳統(tǒng)的存儲管理技術(shù)并沒有考慮到混合型存儲系統(tǒng)的特點,不能很好地結(jié)合傳統(tǒng)內(nèi)存技術(shù)的優(yōu)勢充分發(fā)揮NVM的性能。因此,本文的研究目的是設(shè)計一個基于NVM,特別是具備混合型存儲介質(zhì)如混合DRAM和NVM,一個帶磨損均衡的小粒度內(nèi)存管理機制,提供高效的內(nèi)存訪問效率,同時能針對小粒度數(shù)據(jù)的內(nèi)存分配進行磨損均衡的優(yōu)化,延長NVM的使用壽命。本文的主要研究內(nèi)容如下:(1)小粒度數(shù)據(jù)的高效內(nèi)存管理。小粒度數(shù)據(jù)在內(nèi)存中分布分散而訪問頻率高,因此以緩存行(大小為64Byte)為最小的基本內(nèi)存單元,同時將頁內(nèi)的存儲空間按照基本單元劃分,采用頁內(nèi)元數(shù)據(jù)的方式來進行管理。(2)小粒度內(nèi)存空間的磨損均衡策略。小粒度數(shù)據(jù)的更新頻繁,加入復雜的統(tǒng)計機制來進行磨損均衡的優(yōu)化勢必會影響系統(tǒng)效率。本文提出順序?qū)懖呗詮姆峙錂C制上解決內(nèi)存基礎(chǔ)單元的磨損均衡問題。同時引入DRAM組合混合內(nèi)存系統(tǒng),不僅能降低使用成本,并且能利用DRAM來分擔部分數(shù)據(jù)的寫磨損問題。本文通過在DRAM中生成頁內(nèi)元數(shù)據(jù)和頁級管理數(shù)據(jù)臨時數(shù)據(jù),并采用條件持久化的機制更新到NVM中,進一步解決了元數(shù)據(jù)區(qū)的磨損問題。(3)頁內(nèi)空閑單元元數(shù)據(jù)計算算法。由于頁內(nèi)元數(shù)據(jù)占用的空間需要盡量小,因此采用結(jié)構(gòu)最簡單的位圖來進行空間的管理。但是由于位圖的遍歷是很消耗系統(tǒng)資源的操作,因此本文設(shè)計了分片計算算法來進行高效的位圖數(shù)據(jù)處理。(4)持久化機制。由于配置NVM,故系統(tǒng)的斷電可恢復性是一項重要指標,而DRAM的數(shù)據(jù)在刷回到NVM的過程中,如果發(fā)生斷電,就會產(chǎn)生數(shù)據(jù)的不一致性的問題。因此,采用寫日志的方法進行處理,來維護一致性。(5)多線程優(yōu)化。單線程的內(nèi)存分配機制在面臨多線程的時候會產(chǎn)生資源的搶占,造成系統(tǒng)性能的浪費。因此采用線程局部資源的方式,讓每個線程擁有一個局部資源緩沖區(qū),就能減少資源競爭的問題,提高多線程的性能。本文根據(jù)提出的問題,設(shè)計了一個全新的帶磨損均衡的小粒度內(nèi)存分配器(Wear-leveling Aware Fine-grained Allocator,WAFA)。實驗結(jié)果表明,與基于NVM的分配管理機制NVMalloc和nvm_malloc相比,WAFA中頁面的總寫入次數(shù)僅僅只達到兩者的81.1%和40.1%。對于每個基本存儲器單元的寫入次數(shù),WAFA的變化系數(shù)分別比NVMalloc和malloc小69.4%和97.3%。同時,WAFA可以比glibc malloc提高9.6%的系統(tǒng)性能。
【圖文】:
圖 1.1 內(nèi)存頁磨損次數(shù)對比Figure 1.1 Comparison of the times of memory page wear的研究一個適應(yīng)于小粒度內(nèi)存分配的內(nèi)存管理機制度分配的效率,減少內(nèi)存浪費,可以提升整個系統(tǒng)度分配的磨損均衡效果,使得 NVM 的壽命更長,,化機制,并解決斷電帶來的一致性的問題。研究內(nèi)容 的性能特點、各類內(nèi)存管理系統(tǒng)的技術(shù)架構(gòu)、NV及對本課題的研究意義的分析,下面對本論文中的分析可知,本文致力于改進基于 NVM 的小粒度內(nèi)存
(a) 基準測試數(shù)據(jù)集 (b) Memcache 數(shù)據(jù)集 (c)YCSB 數(shù)據(jù)集圖 5.1 不同測試數(shù)據(jù)集下的總寫次數(shù)對比Figure 5.1 Comparison of the total write counts of pages using different workloads.① 內(nèi)存頁的磨損計數(shù)從計算機系統(tǒng)軟件的角度來看,因為頁是操作系統(tǒng)的基本單位,頁面的寫次數(shù)是頁面內(nèi)存儲單元的最大寫入次數(shù)。由于頁面內(nèi)的存儲單元在按照順序進行分配時,并未回頭重復對某一內(nèi)存單元進行重復寫,因此這一順序中寫可以合并為一次寫。無論分配器有沒有對順序進行專門的優(yōu)化,但實際中都會有一定的順序性,而 WAFA 則進行了強化的順序。在實驗中,本文合并頁內(nèi)的順序性操作作為一次寫,添加入總寫入次數(shù)。較少的頁面的總寫入次數(shù)意味著更好的磨損平衡。圖 5.1(a)顯示了使用基本測試數(shù)據(jù)集進行測試時不同分配器的頁面總磨損計數(shù)。橫坐標“Free ratio”是指不同數(shù)據(jù)集擁有的內(nèi)存釋放比率。從圖中可以看出,WAFA 相對于 NVMalloc 和 nvm_malloc 分別減少了 18.1%和 3.8%。對于所有內(nèi)存分配器,隨著空閑比率的增加,頁面的總寫入次數(shù)會減少。這
【學位授予單位】:重慶大學
【學位級別】:碩士
【學位授予年份】:2018
【分類號】:TP333
本文編號:2633852
【圖文】:
圖 1.1 內(nèi)存頁磨損次數(shù)對比Figure 1.1 Comparison of the times of memory page wear的研究一個適應(yīng)于小粒度內(nèi)存分配的內(nèi)存管理機制度分配的效率,減少內(nèi)存浪費,可以提升整個系統(tǒng)度分配的磨損均衡效果,使得 NVM 的壽命更長,,化機制,并解決斷電帶來的一致性的問題。研究內(nèi)容 的性能特點、各類內(nèi)存管理系統(tǒng)的技術(shù)架構(gòu)、NV及對本課題的研究意義的分析,下面對本論文中的分析可知,本文致力于改進基于 NVM 的小粒度內(nèi)存
(a) 基準測試數(shù)據(jù)集 (b) Memcache 數(shù)據(jù)集 (c)YCSB 數(shù)據(jù)集圖 5.1 不同測試數(shù)據(jù)集下的總寫次數(shù)對比Figure 5.1 Comparison of the total write counts of pages using different workloads.① 內(nèi)存頁的磨損計數(shù)從計算機系統(tǒng)軟件的角度來看,因為頁是操作系統(tǒng)的基本單位,頁面的寫次數(shù)是頁面內(nèi)存儲單元的最大寫入次數(shù)。由于頁面內(nèi)的存儲單元在按照順序進行分配時,并未回頭重復對某一內(nèi)存單元進行重復寫,因此這一順序中寫可以合并為一次寫。無論分配器有沒有對順序進行專門的優(yōu)化,但實際中都會有一定的順序性,而 WAFA 則進行了強化的順序。在實驗中,本文合并頁內(nèi)的順序性操作作為一次寫,添加入總寫入次數(shù)。較少的頁面的總寫入次數(shù)意味著更好的磨損平衡。圖 5.1(a)顯示了使用基本測試數(shù)據(jù)集進行測試時不同分配器的頁面總磨損計數(shù)。橫坐標“Free ratio”是指不同數(shù)據(jù)集擁有的內(nèi)存釋放比率。從圖中可以看出,WAFA 相對于 NVMalloc 和 nvm_malloc 分別減少了 18.1%和 3.8%。對于所有內(nèi)存分配器,隨著空閑比率的增加,頁面的總寫入次數(shù)會減少。這
【學位授予單位】:重慶大學
【學位級別】:碩士
【學位授予年份】:2018
【分類號】:TP333
【參考文獻】
相關(guān)期刊論文 前1條
1 洪津津,石教英;LINUX中的Slab分配器[J];計算機應(yīng)用研究;2000年11期
本文編號:2633852
本文鏈接:http://www.sikaile.net/kejilunwen/jisuanjikexuelunwen/2633852.html
最近更新
教材專著