在數(shù)據(jù)庫(kù)系統(tǒng)的設(shè)計(jì)中,數(shù)據(jù)表的存儲(chǔ)結(jié)構(gòu)在理論上決定了數(shù)據(jù)訪問(wèn)過(guò)程的復(fù)雜度,因此對(duì)數(shù)據(jù)表存儲(chǔ)結(jié)構(gòu)的選擇是由系統(tǒng)所面向的工作負(fù)載決定的。如對(duì)于高寫入負(fù)載,基于LSM存儲(chǔ)結(jié)構(gòu)的數(shù)據(jù)庫(kù)系統(tǒng)較傳統(tǒng)數(shù)據(jù)庫(kù)有更強(qiáng)的性能表現(xiàn),而對(duì)于分析型負(fù)載,基于列式存儲(chǔ)的數(shù)據(jù)庫(kù)系統(tǒng)可以在更短時(shí)間完成大型查詢。但是在混合負(fù)載中,數(shù)據(jù)表的不同水平分區(qū)上需要處理的負(fù)載不同,并且同一分區(qū)上需要處理的負(fù)載可能發(fā)生變化,這也導(dǎo)致了不同數(shù)據(jù)表分區(qū)下的最優(yōu)存儲(chǔ)結(jié)構(gòu)在持續(xù)變化。過(guò)去使用靜態(tài)存儲(chǔ)結(jié)構(gòu)或者由人工方法調(diào)整存儲(chǔ)結(jié)構(gòu)的方法不能夠?qū)崿F(xiàn)對(duì)存儲(chǔ)結(jié)構(gòu)的充分使用,因此本文提出了一個(gè)基于學(xué)習(xí)代價(jià)的存儲(chǔ)結(jié)構(gòu)自動(dòng)選擇系統(tǒng)。該系統(tǒng)解決了對(duì)多引擎數(shù)據(jù)庫(kù)下存儲(chǔ)引擎的選擇問(wèn)題,以及針對(duì)工作負(fù)載的數(shù)據(jù)布局選擇問(wèn)題。除此之外,本文還提出了基于機(jī)器學(xué)習(xí)的,用于跨存儲(chǔ)引擎進(jìn)行代價(jià)比較的代價(jià)模型,并提出了用于建立該代價(jià)模型的數(shù)據(jù)庫(kù)性能測(cè)試流程。實(shí)驗(yàn)結(jié)果表明,基于學(xué)習(xí)的代價(jià)模型可以對(duì)跨存儲(chǔ)引擎的操作性能給出較為準(zhǔn)確的估計(jì)。在使用TPC-H公開(kāi)測(cè)試集上,事務(wù)型數(shù)據(jù)分區(qū)和分析型數(shù)據(jù)分區(qū)中自動(dòng)選擇得到的存儲(chǔ)結(jié)構(gòu)較靜態(tài)存儲(chǔ)結(jié)構(gòu)總體查詢時(shí)間降低了約35%。因此在分析型負(fù)載... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

數(shù)據(jù)庫(kù)物理設(shè)計(jì)的搜索架構(gòu)[23]6

第2章S-CUBE系統(tǒng)架構(gòu)設(shè)計(jì)-11-進(jìn)行未來(lái)預(yù)測(cè)。調(diào)優(yōu)模塊：該模塊執(zhí)行優(yōu)化操作的生成、評(píng)估和推薦。這里優(yōu)化操作可以是選擇新的物理設(shè)計(jì)，也可以是對(duì)配置旋鈕進(jìn)行調(diào)整。該模塊設(shè)計(jì)思想與前述研究相似，分為枚舉、評(píng)估、選擇、執(zhí)行四個(gè)階段。組織模塊：該模塊為控制中心，控制數(shù)據(jù)庫(kù)系統(tǒng)核實(shí)進(jìn)行負(fù)載預(yù)測(cè)、核實(shí)進(jìn)行調(diào)優(yōu)，并監(jiān)控自治數(shù)據(jù)庫(kù)中相關(guān)操作的調(diào)用情況。最新的自治數(shù)據(jù)庫(kù)框架與本節(jié)提到的上一個(gè)框架相比，增加了負(fù)載預(yù)測(cè)的模塊和核心控制的模塊。主要思想是為數(shù)據(jù)庫(kù)提供負(fù)載預(yù)測(cè)功能，優(yōu)化操作不再基于當(dāng)前負(fù)載進(jìn)行推薦，而是基于未來(lái)負(fù)載進(jìn)行推薦，提高了自主數(shù)據(jù)庫(kù)框架的靈敏性，優(yōu)化操作可以更早提供給DBA和數(shù)據(jù)庫(kù)。工作負(fù)載的預(yù)測(cè)不是本文的重點(diǎn)，提出的系統(tǒng)主要針對(duì)存儲(chǔ)引擎和數(shù)據(jù)布局的推薦算法，因此框架主要沿襲剪枝-生成-評(píng)估的設(shè)計(jì)思路。2.2S-CUBE系統(tǒng)模塊介紹本文依照先前自治數(shù)據(jù)庫(kù)的設(shè)計(jì)思想，設(shè)計(jì)了存儲(chǔ)結(jié)構(gòu)推薦系統(tǒng)，用于解決在HTAP工作負(fù)載中遇到的問(wèn)題。系統(tǒng)的框架如圖2-2所示。圖2-2基于學(xué)習(xí)代價(jià)的存儲(chǔ)結(jié)構(gòu)自動(dòng)選擇系統(tǒng)架構(gòu)圖S-CUBE系統(tǒng)包含一個(gè)支持混合存儲(chǔ)的數(shù)據(jù)庫(kù)（宿主系統(tǒng)）、宿主系統(tǒng)適配器和五個(gè)外部模塊組成的存儲(chǔ)結(jié)構(gòu)推薦系統(tǒng)。外部模塊包括：基準(zhǔn)測(cè)試模塊，代價(jià)模型訓(xùn)練模塊，候選結(jié)構(gòu)生成模塊，存儲(chǔ)結(jié)構(gòu)代價(jià)估計(jì)模塊和存儲(chǔ)結(jié)構(gòu)應(yīng)用模塊。注意到這里與存儲(chǔ)結(jié)構(gòu)推薦相關(guān)的模塊與宿主系統(tǒng)實(shí)現(xiàn)了低耦合的設(shè)計(jì)，目的是使存儲(chǔ)結(jié)構(gòu)推薦系統(tǒng)可以作為外部工具應(yīng)用在任何一個(gè)支持多種存

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 時(shí)隨著讀取行數(shù)的增加而減少，最終趨于穩(wěn)定。在讀取相同行數(shù)時(shí)，數(shù)據(jù)在頁(yè)緩存內(nèi)的比例越大，單行平均用時(shí)的值越低。這兩個(gè)屬性是讀操作的主要影響因素，因?yàn)檫@兩個(gè)因素直接控制了數(shù)據(jù)庫(kù)需要在文件中讀取的磁盤塊的 IO 次數(shù)。限于表示原因，圖 3-1 中只展示了訪問(wèn)時(shí)間在 100 微秒以內(nèi)的結(jié)果。實(shí)際上在讀取行數(shù)較低的部分存在一些訪問(wèn)時(shí)間超過(guò) 100 微秒的數(shù)據(jù)點(diǎn)。

【參考文獻(xiàn)】：
期刊論文
[1]人工智能賦能的數(shù)據(jù)管理技術(shù)研究[J]. 孫路明,張少敏,姬濤,李翠平,陳紅.  軟件學(xué)報(bào). 2020(03)



本文編號(hào)：3394501