鍵值存儲(chǔ)引擎(key-value storage engine)在網(wǎng)絡(luò)索引、電子商務(wù)、社交網(wǎng)絡(luò)和云存儲(chǔ)等現(xiàn)代數(shù)據(jù)密集型應(yīng)用中發(fā)揮著越來越重要的作用,然而內(nèi)部存儲(chǔ)器和外部存儲(chǔ)器的固有缺陷成為制約鍵值存儲(chǔ)引擎的瓶頸。隨著存儲(chǔ)器技術(shù)的發(fā)展,出現(xiàn)了一類新型存儲(chǔ)器——非易失存儲(chǔ)器(non-volatile memory,簡稱NVM),非易失存儲(chǔ)器既有內(nèi)部存儲(chǔ)器按字節(jié)尋址和低延遲的優(yōu)點(diǎn),又有外部存儲(chǔ)器非易失和容量大的優(yōu)點(diǎn)。研究基于NVM的鍵值存儲(chǔ)引擎關(guān)鍵技術(shù)有望解決現(xiàn)有的鍵值存儲(chǔ)引擎所面臨的瓶頸問題。本文首先通過源碼分析了基于外存的鍵值存儲(chǔ)引擎Level DB的系統(tǒng)框架及運(yùn)行機(jī)制,然后通過實(shí)驗(yàn)分析了Level DB的讀延遲和寫放大(write amplification),根據(jù)實(shí)驗(yàn)結(jié)果得出重要結(jié)論:一方面,SST文件引發(fā)的數(shù)據(jù)反序列化開銷和順序?qū)哟嗡饕木S護(hù)開銷在讀延遲中占比很高;另一方面,文件分層的鍵值數(shù)據(jù)合并策略引發(fā)了很高的寫放大,不僅降低了數(shù)據(jù)寫入性能而且大幅縮短了NVM的使用壽命。根據(jù)此結(jié)論,本文從算法和工程上對Level DB進(jìn)行了重新設(shè)計(jì),實(shí)現(xiàn)了基于NVM的鍵值存儲(chǔ)引擎Nova DB。...

【文章頁數(shù)】：75 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-1內(nèi)部鍵的組成

16-第2章鍵值存儲(chǔ)引擎LevelDB的缺陷2.1引言本章首先給出了LevelDB的系統(tǒng)框架及運(yùn)行機(jī)制，然后通過實(shí)驗(yàn)分析LevelDB的讀延遲和寫放大，最后總結(jié)并提出了改進(jìn)思路，為后續(xù)章節(jié)奠定基矗2.2LevelDB系統(tǒng)框架及運(yùn)行機(jī)制LevelDB是一種采用LSM樹索引的主流鍵值....

圖2-2LevelDB系統(tǒng)框架

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-17-鍵等SST文件元數(shù)據(jù)被收集起來用于構(gòu)建順序?qū)哟嗡饕�，LevelDB根據(jù)順序?qū)哟嗡饕龑@些SST文件執(zhí)行二分查找。任何新增或刪除SST文件的操作都會(huì)以寫時(shí)復(fù)制(copy-on-write)的方式更新順序?qū)哟嗡饕碌膬?nèi)容以尾部追加的方式寫入M....

圖2-3讀延遲各流程開銷比例綜合以上從實(shí)驗(yàn)和源碼兩方面對LevelDB讀延遲的剖析，可以得出結(jié)論：有LevelDB

維護(hù)開銷在讀延遲中占比快速增大，而數(shù)據(jù)查找操作的延遲總和基本上與數(shù)據(jù)量呈線性增長關(guān)系。結(jié)合LevelDB的開源代碼容易得知原因：一方面，LevelDB將文件打開句柄數(shù)量限制在1000以內(nèi)以防耗盡文件描述符(filedescriptor)或虛擬內(nèi)存(virtualme....

圖2-4寫放大

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-21-圖2-4寫放大圖2-5寫延遲

本文編號：3958231