【摘要】：Log Structured Merge Trees(LSM-tree)作為一種寫優(yōu)化的存儲結構被廣泛地應用于現(xiàn)代存儲引擎的設計中。LSM-tree為了提高寫性能,將寫操作以日志的形式緩存于內存,延遲寫入磁盤并分層存儲。LSM-tree在后臺維護了一個數(shù)據(jù)合并的任務(compaction)來合并多版本數(shù)據(jù),以縮短讀路徑和減少存儲成本。LSM-tree的分層存儲設計沒有考慮負載的讀特性,對于讀訪問頻繁但非經(jīng)常更新的數(shù)據(jù),會由于compaction操作而下沉到底層,訪問時會帶來較多的磁盤IO,影響讀性能。另外,compaction的過程涉及到數(shù)據(jù)的解碼、編碼、比較、合并,是一個計算密集型的操作,在compaction任務被調度時,會競爭CPU的計算資源,造成系統(tǒng)的性能抖動。本篇論文對LSM-tree的研究現(xiàn)狀進行了綜述,并針對上述LSM-tree讀延遲高和性能抖動兩個問題,提出了一種增強型的基于LSM-tree的存儲結構RH-LSM。首先通過捕捉數(shù)據(jù)的歷史訪問特征,同時根據(jù)模型計算的訪問頻率來決定哪些冷數(shù)據(jù)會被compaction,以確保頻繁訪問的數(shù)據(jù)具有較短的讀路徑。其次引入了 FPGA,將compaction動作卸載到FPGA上執(zhí)行,包括高效的FPGA compaction流水線設計、異步compaction調度機制的設計,考慮到FPGA本身的缺陷,還設計了容錯機制來保證compaction任務執(zhí)行的正確性。RH-LSM是一個綜合考慮訪問特征并且性能平穩(wěn)的存儲結構。實驗表明,基于RH-LSM的存儲引擎的性能在公開基準上均取得了優(yōu)于當前先進的基于LSM-tree的存儲引擎。
【圖文】：

—般隨機選取。熱點數(shù)據(jù)（訪問頻繁的數(shù)據(jù)）由于ｃｏｍｐａｃｔｉｏｎ操作下沉到底層，逡逑造成熱點讀操作路徑增長，是造成ＬＳＭ－ｔｒｅｅ讀性能表現(xiàn)不佳的主要原因。逡逑圖１．１給出了在ＲＨ－ＬＳＭ在讀敏感特性關閉時讀性能隨著線程數(shù)增加而變化逡逑的曲線Ｓ可以看到，由于１０資源成為瓶頸，ＬＳＭ－ｔｒｅｅ的讀性能無法做到線性擴逡逑展。逡逑—ＲＨ－ＬＳＭ－ＲＳ－ｏｆｆ逡逑＾邋１６０００邋＇＊＊＊逡逑之邐＾邐一逡逑５邋１４０００邋■邐．逡逑￡邋＾逡逑云１２０００丨邐＾丨逡逑＝逡逑芝邋１００００邋－逡逑ｒ邋／逡逑１邋／逡逑Ｑ）邋６０００邐ｆ逡逑ｉ邐／逡逑＾邋／逡逑２０００邐＊邐，邐：邐｜＾邐Ｉ邐Ｉ邐逡逑０邐１０邐２０邐３０邐４０邐５０邐６Ｑ逡逑Ｔｈｒｅａｄｓ逡逑圖１．１讀敏感特性關閉的ＬＳＭ－ｔｒｅｅ的吞吐隨線程數(shù)變化的曲線（穴ｅａ0Ｔ？＜７／Ｗｏｗ）逡逑圖１．２給出了在單線程情況下ＬＳＭ－ｔｒｅｅ引擎的資源利用率曲線，可以明顯看逡逑到由于１０帶寬利用率較高，ＣＰＵ利用率水位較低，，表明了邋ＬＳＭ－ｔｒｅｅ讀路徑較長，逡逑讀性能還有較大的優(yōu)化空間。逡逑１實驗環(huán)境為２個丨ｎｔｅｌ處理器（Ｅ５－２６８３，邋２．１ＧＨｚ）邋，邋３２個物理核心，６４個超線程，內存容最７６８ＧＢ。ｋｅｙ逡逑長度為丨６字節(jié)，ｖａｌｕｅ長度為８卞

除了讀性能不理想，ＬＳＭ－ｔｒｅｅ結構的另一個痛點是ｃｏｍｐａｃｔｉｏｎ造成的性能抖逡逑動，ｃｏｍｐａｃｔｉｏｎ執(zhí)行過程中會占用較多的ＣＰＵ和丨０資源，影響前臺線程的正常逡逑事務處理。圖１．３給出了兩種ＬＳＭ－ｔｒｅｅ存儲引擎（ＲＨ－ＬＳＭ－ＣＰＵ，ＲｏｃｋｓＤＢ）的逡逑在ＤｂＢｅｎｃｈ基準的純寫入場景下的性能曲線２，對于ＲｏｃｋｓＤＢ，繪制了邋ｃｏｍｐａｃｔｉｏｎ逡逑關閉情況的性能曲線作為對照。另外，我們給出了兩種存儲引擎在執(zhí)行過程中逡逑２實驗環(huán)境為２個Ｉｎｔｅｌ處理器（Ｅ５－２６８３，邋２．１ＧＨｚ）邋，邋３２個物理核心，６４個超線程，內存容最７６８ＧＢ。ｋｅｙ逡逑長度為１６字節(jié)，ｖａｌｕｅ長度為８邋ｔ節(jié)，ｋｅｙPu在丨億的范Ｉｔｌ內隨機生成。磁盤使用ＳＳＤ。逡逑５逡逑
【學位授予單位】：浙江大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP333;TP311.13

【相似文獻】

相關期刊論文 前10條

1 Kai-qi Zhang;Hai-qing Yin;Xue Jiang;Xiu-qin Liu;Fei He;Zheng-hua Deng;Dil Faraz Khan;Qing-jun Zheng;Xuan-hui Qu;;A novel approach to predict green density by high-velocity compaction based on the materials informatics method[J];International Journal of Minerals Metallurgy and Materials;2019年02期

2 Meghdad Jourgholami;;Effects of soil compaction on growth variables in Cappadocian maple(Acer cappadocicum) seedlings[J];Journal of Forestry Research;2018年03期

3 Zhong Hong;Ming-Jun Su;Hua-Qing Liu;Gai Gao;;Clastic compaction unit classification based on clay content and integrated compaction recovery using well and seismic data[J];Petroleum Science;2016年04期

4 Alexander Krok;Mari餼n Peciar;Roman Fekete;;Numerical investigation into the influence of the punch shape on the mechanical behavior of pharmaceutical powders during compaction[J];Particuology;2014年05期

5 Elham Ghanbari;Amir Hamidi;;Improvement parameters in dynamic compaction adjacent to the slopes[J];Journal of Rock Mechanics and Geotechnical Engineering;2015年02期

6 JIANG Lu;FAN Jianhua;WANG Zhengjin;HUO Zhensheng;;Mechanical property of calcareous sand under action of compaction[J];Global Geology;2015年03期

7 阿罕默德·沙拉;周勝華;Azza ELERAQY;唐亮;;A rare case of isolated right ventricular non-compaction Cardiomyopathy[J];South China Journal of Cardiology;2013年02期

8 ;Real-time compaction quality monitoring of high core rockfill dam[J];Science China(Technological Sciences);2011年07期

9 ;Research of warm compaction technology on nylon bonded Nd-Fe-B magnets[J];Acta Metallurgica Sinica(English Letters);2009年03期

10 劉建華;袁劍波;熊虎;陳偉;;Dynamic compaction treatment technology research of red clay soil embankment in southern mountains[J];Journal of Central South University of Technology;2008年S2期

相關會議論文 前10條

1 Maria da Graca Miguel;;DNA Compaction and Decompaction:Bulk and Interfaces[A];中國化學會第十屆膠體與界面化學會議論文摘要集[C];2004年

2 R.Kato;D.Matsumoto;K.Kamiya;S.Shimeno;;Innovative Impermeable Mixes on Bridge Deck[A];Abstracts of ISAP 2012 International Symposium on Heavy Duty Asphalt Pavements and Bridge Deck Pavements[C];2012年

3 Takashi Kano;Takashi Mino;Seiichiro Nagayama;Jun Makabe;Tomokazu Takahashi;KeiichiUchiyama;Haruki Goto;Yuki Tsukimoto;;Effective Compaction Methods for Thin-Lift WMA Pavement[A];Abstracts of ISAP 2012 International Symposium on Heavy Duty Asphalt Pavements and Bridge Deck Pavements[C];2012年

4 ;STUDY ON HIGH PERFORMANCE DRIVING P/M GEAR FOR ENGINE[A];2006年中國機械工程學會年會暨中國工程院機械與運載工程學部首屆年會論文集[C];2006年

5 Yanliang Qiao;Jiangtao Zhang;Mei Zhang;Lisheng Liu;Pengcheng Zhai;Qingjie Zhang;;Simulation on the Flow-Compaction Behavior of Thick Composite Laminate and the Effect of Interlaminar Permeability[A];第十一屆南方計算力學學術會議（SCCM-11）摘要集[C];2017年

6 HU Chichun;WANG Duanyi;ZHANG Xiaoning;THYAGARAJAN Senthilmurugan;;Characterization of Asphalt Mixture Homogeneity Based on X-ray Computed Tomography[A];Abstracts of ISAP 2012 International Symposium on Heavy Duty Asphalt Pavements and Bridge Deck Pavements[C];2012年

7 ;Identification of Longest-Testable Paths and Generation of Compact Test Sets for Small-Delay Defects[A];第六屆中國測試學術會議論文集[C];2010年

8 Yan Zhang;Li-Yun Fu;Fuqiong Huang;Xuezhong Chen;;Coseismic water-level changes in a well induced by teleseismic waves from three large earthquakes[A];中國科學院地質與地球物理研究所2015年度（第15屆）學術論文匯編——地球深部結構與過程研究室[C];2016年

9 ;Overpressuring mechanisms in the Yinggehai Basin,South China Sea[A];中國科學院地質與地球物理研究所二○○三學術論文匯編·第五卷(礦產(chǎn)資源與水資源)[C];2003年

10 LIU WeiMing;SUN JiMin;;High-resolution anisotropy of magnetic susceptibility record in the central Chinese Loess Plateau and its paleoenvironment implications[A];中國科學院地質與地球物理研究所2012年度（第12屆）學術論文匯編——新生代地質與環(huán)境研究室[C];2013年

相關碩士學位論文 前7條

1 張騰;RH-LSM：一種讀敏感的異構LSM-tree[D];浙江大學;2019年

2 靳東兆;基于多尺度仿真與試驗的瀝青路面鉆孔填補成型與變形特性研究[D];長安大學;2018年

3 Muhammad Mohsin Nawaz;機械耕作引起土壤緊實對土壤特性與玉米生長發(fā)育的影響[D];中國農(nóng)業(yè)科學院;2018年

4 代薇娜（Devina Ghoorah）;[D];華中科技大學;2012年

5 艾瑞克;以空隙率為依據(jù)確定溫拌瀝青的壓實溫度[D];大連理工大學;2016年

6 Nameeta Shrestha;[D];重慶醫(yī)科大學;2010年

7 王德玉;土壤緊實脅迫對黃瓜碳氮代謝的影響[D];西北農(nóng)林科技大學;2013年

本文編號：2611776