發(fā)布時(shí)間：2018-10-21 20:12

【摘要】：當(dāng)今,許多企事業(yè)單位的高管人員,迫切需要高性能的分析型數(shù)據(jù)庫(kù)管理系統(tǒng),用于分析大數(shù)據(jù),輔助決策。列存儲(chǔ)技術(shù)在處理大數(shù)據(jù)方面,顯著優(yōu)于行存儲(chǔ)技術(shù),所以吸引了許多學(xué)者的研究。列存儲(chǔ)技術(shù)的研究取得了一些成果,但是關(guān)于列存儲(chǔ)系統(tǒng)的存儲(chǔ)優(yōu)化、查詢優(yōu)化和查詢執(zhí)行等關(guān)鍵技術(shù)還有待進(jìn)一步研究。 在列存儲(chǔ)系統(tǒng)中,按列存儲(chǔ)數(shù)據(jù),使得在查詢處理時(shí)能夠只讀取查詢所需要的列,避免讀入無關(guān)的列。按列存儲(chǔ)的數(shù)據(jù)具有很好的可壓縮性,在查詢處理過程中可以直接對(duì)壓縮數(shù)據(jù)進(jìn)行處理。這兩點(diǎn)使得列存儲(chǔ)系統(tǒng)在查詢處理過程中的數(shù)據(jù)I/O效率比行存儲(chǔ)高得多,有利于提高查詢處理的速度。另一方面,對(duì)按列存儲(chǔ)的數(shù)據(jù)進(jìn)行查詢處理時(shí),需要將分散存儲(chǔ)在不同位置的多列數(shù)據(jù)進(jìn)行元組重構(gòu)。元組重構(gòu)形成了列存儲(chǔ)系統(tǒng)中的一個(gè)重要性能瓶頸。 本文以國(guó)家工信部核高基重大專項(xiàng)課題“數(shù)據(jù)倉(cāng)庫(kù)專用DBMS原型系統(tǒng)研制”(2010ZX01042-001-003-04)和國(guó)家自然科學(xué)基金項(xiàng)目“數(shù)據(jù)倉(cāng)庫(kù)中行列混合存儲(chǔ)引擎的優(yōu)化模型”(61070031)為依托,以提高列存儲(chǔ)系統(tǒng)的查詢性能為目標(biāo),對(duì)影響列存儲(chǔ)系統(tǒng)性能的一些關(guān)鍵技術(shù)進(jìn)行了深入研究。本文主要做了以下幾個(gè)方面的工作： (1)研究列存儲(chǔ)系統(tǒng)中數(shù)據(jù)存儲(chǔ)布局對(duì)元組重構(gòu)性能的影響后,提出了一個(gè)以列存儲(chǔ)為基礎(chǔ),結(jié)合組合多列的存儲(chǔ)模型。該模型對(duì)歷史查詢使用數(shù)據(jù)的方式進(jìn)行分析,分析一個(gè)邏輯表中的哪些列經(jīng)常一起被查詢輸出,將這些列進(jìn)行物化,供后續(xù)查詢使用。對(duì)需要物化的多列,首先形成邏輯上的一個(gè)投影并進(jìn)行水平劃分,然后對(duì)劃分的每一塊,在塊內(nèi)按列組織并壓縮后存儲(chǔ)。這樣能充分利用列存儲(chǔ)的優(yōu)勢(shì),同時(shí)也能減少元組重構(gòu)的開銷,為后續(xù)查詢提供了最優(yōu)存儲(chǔ)。 (2)傳統(tǒng)B+樹索引是稀疏的,對(duì)其搜索的路徑較長(zhǎng),對(duì)其進(jìn)行插入和搜索的效率較低,不適合分析型應(yīng)用。對(duì)此,本文提出了一種精簡(jiǎn)的、適合于列存儲(chǔ)的B+樹結(jié)構(gòu)——RB+樹。RB+樹幾乎是一棵滿的平衡二叉樹,一頁(yè)能容納更多的索引項(xiàng),因而能用較矮的RB+樹存儲(chǔ)大量的索引項(xiàng)。按這種結(jié)構(gòu)樹組織數(shù)據(jù),搜索數(shù)據(jù)的路徑短,搜索效率高。關(guān)于RB+樹索引的創(chuàng)建和維護(hù),分別對(duì)行號(hào)索引和列值索引提出了自底向上的高效創(chuàng)建方法和維護(hù)方法。 (3)研究了數(shù)據(jù)庫(kù)中的數(shù)據(jù)壓縮技術(shù),包括輕量級(jí)的壓縮方法、壓縮粒度的選擇和壓縮方法的選擇策略。特別對(duì)位圖壓縮技術(shù)進(jìn)行了深入的研究,提出了一種富擴(kuò)展劃分位圖索引和一種自適應(yīng)的劃分字對(duì)齊壓縮方法(APWAH)。富擴(kuò)展劃分位圖包含了一些統(tǒng)計(jì)信息,為直接使用劃分位圖進(jìn)行聚集操作提供了方便。(?)PWAH能根據(jù)位向量中0-1分布情況,自適應(yīng)地選擇最合適的0-填充段長(zhǎng)和1-填充段長(zhǎng),提高了壓縮效率和查詢處理效率。同時(shí)研究了區(qū)級(jí)壓縮,區(qū)級(jí)壓縮同時(shí)具有壓縮率高和壓縮管理方便的優(yōu)點(diǎn)。本文提出根據(jù)數(shù)據(jù)的分布情況,自適應(yīng)地選擇區(qū)的大小。一個(gè)區(qū)由若干塊構(gòu)成,每區(qū)的塊數(shù)不一定相同。這樣可以根據(jù)相鄰數(shù)據(jù)塊之間的相似性,靈活地進(jìn)行區(qū)劃分,不受區(qū)大小的限制,保證區(qū)內(nèi)數(shù)據(jù)分布特征相似性強(qiáng),區(qū)之間數(shù)據(jù)分布特征相似性弱,以便對(duì)每個(gè)區(qū)選擇更合適的壓縮方法。關(guān)于壓縮方法的選擇,建立了一個(gè)數(shù)據(jù)分布特征模型,并根據(jù)提出的模型建立了選擇壓縮方法的決策方案。 (4)研究緩沖區(qū)管理技術(shù),提出了一種適應(yīng)于列存儲(chǔ)系統(tǒng)的三級(jí)緩沖區(qū)管理方案。在全局級(jí),使用兩條鏈分別管理系統(tǒng)的自由緩沖區(qū)和所有查詢使用的緩沖區(qū),對(duì)使用的緩沖區(qū)按綜合自適應(yīng)置換策略進(jìn)行置換。一個(gè)緩沖區(qū)是否可被置換,不僅考慮正在執(zhí)行的查詢,同時(shí)還考慮了一定量的后續(xù)查詢。在查詢級(jí),每個(gè)執(zhí)行的查詢都用一條主鏈管理它使用的緩沖區(qū),一個(gè)查詢處理中每出現(xiàn)一個(gè)并發(fā)操作階段,都從主鏈中產(chǎn)生一條相應(yīng)的分支鏈來管理并發(fā)操作階段使用的緩沖區(qū)。在操作階段級(jí),對(duì)每個(gè)操作階段設(shè)計(jì)了一種靈活且自適應(yīng)的緩沖區(qū)分配策略(MG-x-y-z)和與它的訪問模式相適應(yīng)的置換策略。提出的三級(jí)緩沖區(qū)管理方案充分考慮了分析型工作負(fù)載的特點(diǎn)、數(shù)據(jù)訪問模式特點(diǎn)和可用的緩沖區(qū)情況,也考慮了數(shù)據(jù)預(yù)取。 (5)研究列存儲(chǔ)系統(tǒng)中的物化技術(shù)后,針對(duì)現(xiàn)有物化技術(shù)的不足,提出了基于帶值路徑的物化技術(shù)(PVM)。PVM在物理執(zhí)行樹中增加了帶值路徑,并使用傳遞塊來保存執(zhí)行的中間結(jié)果。通過這種方法,避免了查詢執(zhí)行過程中對(duì)原始數(shù)據(jù)的重讀。對(duì)帶值路徑中包含的位向量,使用本文提出的APWAH壓縮方法進(jìn)行壓縮,減少或避免了因中間結(jié)果太大而造成的額外I/O。 本文研究的內(nèi)容是我們所研制的原型系統(tǒng)中的關(guān)鍵技術(shù)。研究的結(jié)果對(duì)提高系統(tǒng)的總體性能起到了決定性的作用。
[Abstract]:......
【學(xué)位授予單位】：東華大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊春燕;用SAN構(gòu)筑現(xiàn)代企業(yè)信息存儲(chǔ)系統(tǒng)的優(yōu)勢(shì)[J];內(nèi)蒙古電力技術(shù);2002年S1期

2 ;專家觀點(diǎn)[J];中國(guó)計(jì)算機(jī)用戶;2006年43期

3 ;HDS AMS 2000系列的創(chuàng)新之道[J];通信世界;2009年08期

4 金文新;;大型高校圖書館計(jì)算機(jī)網(wǎng)絡(luò)集成系統(tǒng)建設(shè)[J];情報(bào)科學(xué);2009年04期

5 李靜;;淺談HIS系統(tǒng)對(duì)服務(wù)器和存儲(chǔ)設(shè)備的要求及設(shè)計(jì)方案[J];信息與電腦(理論版);2009年11期

6 劉剛;張海濤;李瑞東;張強(qiáng);;一種基于模塊化設(shè)計(jì)的NAS集群存儲(chǔ)系統(tǒng)[J];微計(jì)算機(jī)信息;2011年05期

7 于耳;;建立面向應(yīng)用的存儲(chǔ)系統(tǒng)[J];中國(guó)教育網(wǎng)絡(luò);2011年06期

8 ;數(shù)字視頻存儲(chǔ)系統(tǒng)[J];光學(xué)精密工程;1977年06期

9 張明明;;為信息傳輸設(shè)備保駕護(hù)航——訪EMC公司中國(guó)區(qū)產(chǎn)品經(jīng)理馬永亨先生[J];上海微型計(jì)算機(jī);1998年Z1期

10 趙晨;;EMC Symmetrix優(yōu)化SAP R/3系統(tǒng)[J];計(jì)算機(jī)與網(wǎng)絡(luò);1998年09期

相關(guān)會(huì)議論文 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 朱平;朱建濤;高劍剛;蔣金虎;;高性能計(jì)算存儲(chǔ)關(guān)鍵技術(shù)研究[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

3 周博;宿紹瑩;陳曾平;;基于CPCI總線的寬帶雷達(dá)數(shù)據(jù)傳輸存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];全國(guó)第二屆信號(hào)處理與應(yīng)用學(xué)術(shù)會(huì)議�？痆C];2008年

4 周功業(yè);周江;陳希;陳進(jìn)才;;寄生存儲(chǔ)原理及實(shí)現(xiàn)機(jī)制[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

5 汪黎;章文嵩;楊學(xué)軍;;Cfslight:一個(gè)新型的輕量級(jí)對(duì)象存儲(chǔ)集群文件系統(tǒng)[A];2006年全國(guó)開放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（一）[C];2006年

6 聶明;;構(gòu)建海量存儲(chǔ)系統(tǒng) 提升媒體競(jìng)爭(zhēng)力[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（下）[C];2008年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國(guó)氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測(cè)”分會(huì)場(chǎng)論文集[C];2006年

8 劉湛明;吳柳堅(jiān);;數(shù)字電視臺(tái)的建設(shè)[A];2007第二屆全國(guó)廣播電視技術(shù)論文集2（下）[C];2007年

9 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

10 羅香玉;李傳佑;汪蕓;;糾刪碼容錯(cuò)組的布局策略研究[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

相關(guān)重要報(bào)紙文章 前10條

1 朗飛;IBM“冰立方”就像搭積木[N];中國(guó)計(jì)算機(jī)報(bào);2006年

2 郭濤;MediaGrid既不是SAN也不是NAS[N];中國(guó)計(jì)算機(jī)報(bào);2007年

3 本報(bào)記者　　張峰;知己知彼建存儲(chǔ)（上）[N];網(wǎng)絡(luò)世界;2006年

4 森林;NAS資源存儲(chǔ)系統(tǒng)[N];中國(guó)電腦教育報(bào);2002年

5 Hifn(漢帆)杭州信息技術(shù)有限公司 馬劍杰;自動(dòng)精簡(jiǎn)配置：提升存儲(chǔ)利用率有絕招[N];中國(guó)計(jì)算機(jī)報(bào);2009年

6 ;IBM收購(gòu)存儲(chǔ)解決方案公司[N];計(jì)算機(jī)世界;2007年

7 本報(bào)記者 徐恒;面臨機(jī)遇 中國(guó)新型存儲(chǔ)業(yè)合作求創(chuàng)新[N];中國(guó)電子報(bào);2011年

8 李想 徐晉;福州電業(yè)局研發(fā)個(gè)人文件安全存儲(chǔ)系統(tǒng)[N];中國(guó)電力報(bào);2006年

9 ;HDS推出企業(yè)入門級(jí)存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2005年

10 ;戴爾EMC打造新一代高容量存儲(chǔ)系統(tǒng)[N];人民郵電;2004年

相關(guān)博士學(xué)位論文 前10條

1 丁祥武;列存儲(chǔ)系統(tǒng)的若干關(guān)鍵技術(shù)研究[D];東華大學(xué);2013年

2 陸承濤;存儲(chǔ)系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

3 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

5 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

6 王玉林;多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

7 施展;基于本體的存儲(chǔ)系統(tǒng)管理研究[D];華中科技大學(xué);2011年

8 姜明華;基于冗余智能存儲(chǔ)通道的存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

9 黃繼鵬;高速高可靠小型數(shù)字視頻存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（長(zhǎng)春光學(xué)精密機(jī)械與物理研究所）;2012年

10 劉科;內(nèi)容感知存儲(chǔ)系統(tǒng)中的信息檢索關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 陸正武;面向流媒體應(yīng)用存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2004年

2 杜睿;基于IP-SAN技術(shù)的石化企業(yè)數(shù)據(jù)集中存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華東理工大學(xué);2010年

3 金強(qiáng);基于HBase的RDF存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)[D];浙江大學(xué);2011年

4 余智敏;數(shù)字化圖書館的數(shù)據(jù)存儲(chǔ)技術(shù)的研究[D];武漢理工大學(xué);2006年

5 陶博舟;磁盤陣列快照系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2007年

6 張小艷;基于嵌入式技術(shù)的USB存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];內(nèi)蒙古大學(xué);2011年

7 蔣亞群;基于DLX體系結(jié)構(gòu)的微處理器核的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)人民解放軍國(guó)防科學(xué)技術(shù)大學(xué);2002年

8 亓偉;關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)子系統(tǒng)研究與實(shí)現(xiàn)[D];清華大學(xué);2005年

9 宋迎迎;數(shù)字館藏評(píng)價(jià)指標(biāo)體系研究[D];鄭州大學(xué);2006年

10 袁曉銘;磁盤陣列系統(tǒng)的快照技術(shù)研究[D];華中科技大學(xué);2007年

，

本文編號(hào)：2286236