本文關(guān)鍵詞：基于Flash混合存儲的電子商務(wù)數(shù)據(jù)庫性能優(yōu)化研究

  更多相關(guān)文章： 電子商務(wù)數(shù)據(jù)庫 Flash數(shù)據(jù)庫 混合存儲系統(tǒng) 差異存儲模型 數(shù)據(jù)庫性能優(yōu)化

【摘要】：當(dāng)前電子商務(wù)的發(fā)展態(tài)勢如火如荼,交易規(guī)模越來越大,導(dǎo)致了海量的電子商務(wù)數(shù)據(jù),使得電子商務(wù)數(shù)據(jù)庫的讀寫、更新和查詢等性能提升變得越來越困難。當(dāng)前主要的解決方案都已接近了數(shù)據(jù)庫系統(tǒng)性能優(yōu)化的極限。而Flash存儲技術(shù)的發(fā)展為解決上述問題帶來了新機(jī)遇,其超過磁盤100倍的I/O性能可以作為突破數(shù)據(jù)庫性能優(yōu)化瓶頸的方法。因此本文將從底層存儲技術(shù)研究入手,兼顧上層軟件算法來實(shí)現(xiàn)提升電子商務(wù)數(shù)據(jù)庫在海量數(shù)據(jù)環(huán)境下的運(yùn)行性能。 研究發(fā)現(xiàn),Flash芯片的順序讀寫和隨機(jī)讀取速度都遠(yuǎn)快于磁盤,但是隨機(jī)寫入和更新性能不足,且芯片價格較高。因此本文提出采用Flash和磁盤混合存儲系統(tǒng),既可以綜合利用兩者各自的優(yōu)勢,又可以兼顧設(shè)備價格成本。但是基于混合存儲系統(tǒng)的數(shù)據(jù)庫部署方案目前尚無系統(tǒng)的研究。本文探索了基于混合存儲系統(tǒng)的電子商務(wù)數(shù)據(jù)庫性能優(yōu)化,研究成果豐富了現(xiàn)有電子商務(wù)數(shù)據(jù)庫的研究內(nèi)容,對電子商務(wù)企業(yè)的發(fā)展具有重要的現(xiàn)實(shí)指導(dǎo)意義。 本論文的研究內(nèi)容主要有： (1)基于混合存儲系統(tǒng)的差異存儲模型的構(gòu)建。從適合電子商務(wù)企業(yè)應(yīng)用的角度出發(fā),在數(shù)據(jù)庫表和屬性兩個層面上構(gòu)建了差異存儲模型,并設(shè)計(jì)了判斷表和屬性數(shù)據(jù)讀寫敏感性和冷熱性的閾值算法,實(shí)現(xiàn)了表及屬性數(shù)據(jù)的讀寫敏感性和冷熱性分析以及遷移存儲方案。 (2)基于混合存儲系統(tǒng)的差異存儲模型的查詢性能優(yōu)化研究。消費(fèi)者使用電子商務(wù)平臺時需要進(jìn)行大量的數(shù)據(jù)庫查詢操作,因而確保并提高電子商務(wù)數(shù)據(jù)庫的查詢性能對于保證電子商務(wù)企業(yè)運(yùn)營質(zhì)量至關(guān)重要。本文首先設(shè)計(jì)研究了HS-Join算法用于提高存儲于不同存儲介質(zhì)的、以表為單位的多表連接查詢性能；其次設(shè)計(jì)研究了PHS-Join算法,在Flash設(shè)備上提取主鍵列和連接列建立連接子表并基于子表重構(gòu)整體連接表。實(shí)驗(yàn)表明了兩種算法能夠明顯提高電子商務(wù)數(shù)據(jù)庫的查詢性能。 (3)基于混合存儲系統(tǒng)的差異存儲模型的事務(wù)處理性能優(yōu)化研究。電子商務(wù)數(shù)據(jù)庫的事務(wù)處理性能是電子商務(wù)企業(yè)提高響應(yīng)能力,維護(hù)更多消費(fèi)者人數(shù),并在同一時間內(nèi)滿足每位消費(fèi)者個性化需求的重要技術(shù)基礎(chǔ)。本文以O(shè)racle數(shù)據(jù)庫為例,首先分析了事務(wù)處理過程中大量的臨時數(shù)據(jù)和日志數(shù)據(jù)的讀寫敏感性及冷熱性,確定了將這兩類文件遷移存儲到Flash設(shè)備中。其次根據(jù)日志文件增長迅速的特點(diǎn),提出了Dynamic Logging方法,當(dāng)Flash空間不足時,日志記錄可以實(shí)現(xiàn)分散存儲。實(shí)驗(yàn)表明上述管理方法明顯提高了電子商務(wù)數(shù)據(jù)庫的事務(wù)并發(fā)性能。 (4)基于混合存儲系統(tǒng)的差異存儲模型的數(shù)據(jù)倉庫性能優(yōu)化研究。優(yōu)化電子商務(wù)數(shù)據(jù)倉庫的查詢分析性能是電子商務(wù)企業(yè)更快速、更準(zhǔn)確地作出商業(yè)決策的技術(shù)基礎(chǔ)。本文首先提出了采用列存儲方案,并提出了列遷移存儲算法,提高了決策所需屬性數(shù)據(jù)的查詢效率。此外針對數(shù)據(jù)倉庫中多屬性關(guān)聯(lián)分析時連接代價大的問題,提出了行列混合存儲方法,通過提前固化減少了連接代價。最后提出了數(shù)據(jù)差異化壓縮存儲方案,既保障了數(shù)據(jù)的查詢效率,又充分利用了磁盤的存儲空間。 本論文的創(chuàng)新點(diǎn)和主要貢獻(xiàn)有： (1)本文從電子商務(wù)企業(yè)角度考慮其經(jīng)濟(jì)可行和技術(shù)可行兩個方面,提出了在電子商務(wù)數(shù)據(jù)庫中采用混合存儲系統(tǒng),并從表和屬性兩個層面構(gòu)建了差異存儲模型。既有利于電子商務(wù)企業(yè)應(yīng)用實(shí)現(xiàn),又能滿足用戶對響應(yīng)速度可感知的要求。 (2)本文提出了適合混合存儲系統(tǒng)查詢的HS-Join算法和PHS-Join算法,充分利用了Flash的隨機(jī)讀取優(yōu)勢,提高了電子商務(wù)數(shù)據(jù)庫的查詢性能；提出了數(shù)據(jù)庫相關(guān)文件在混合存儲系統(tǒng)中的部署方案,極大提高了數(shù)據(jù)庫的事務(wù)處理性能,提升了電子商務(wù)企業(yè)的業(yè)務(wù)處理能力。 (3)本文為了實(shí)現(xiàn)電子商務(wù)數(shù)據(jù)倉庫性能優(yōu)化采用了行列混合存儲技術(shù),提出將高頻率的連接列提前固化,提高了分析決策的速度和效率。此外在混合存儲系統(tǒng)中采用數(shù)據(jù)差異化壓縮存儲方案,充分發(fā)揮了設(shè)備的存儲效率,又確保了數(shù)據(jù)倉庫的查詢速度。
【關(guān)鍵詞】：電子商務(wù)數(shù)據(jù)庫 Flash數(shù)據(jù)庫 混合存儲系統(tǒng) 差異存儲模型 數(shù)據(jù)庫性能優(yōu)化
【學(xué)位授予單位】：東華大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2013
【分類號】：TP311.13
【目錄】：

• 摘要5-7
• Abstract7-10
• 目錄10-13
• 第一章 緒論13-42
• 1.1 研究背景及問題提出13-21
• 1.1.1 電子商務(wù)服務(wù)與傳統(tǒng)商務(wù)服務(wù)的差異13-14
• 1.1.2 電子商務(wù)企業(yè)面臨的挑戰(zhàn)14-16
• 1.1.3 存儲技術(shù)發(fā)展給電子商務(wù)應(yīng)用帶來的機(jī)遇16-18
• 1.1.4 問題提出及研究意義18-21
• 1.2 研究現(xiàn)狀及評述21-34
• 1.3 研究內(nèi)容34-37
• 1.4 實(shí)驗(yàn)方法37-40
• 1.5 主要創(chuàng)新點(diǎn)40-41
• 1.6 全文內(nèi)容結(jié)構(gòu)安排41-42
• 第二章 電子商務(wù)混合存儲系統(tǒng)的差異存儲模型構(gòu)建42-67
• 2.1 引言42-43
• 2.2 電子商務(wù)混合存儲系統(tǒng)的結(jié)構(gòu)及性能分析43-52
• 2.2.1 電子商務(wù)混合存儲系統(tǒng)結(jié)構(gòu)分析44-46
• 2.2.2 電子商務(wù)混合存儲系統(tǒng)性能分析46-52
• 2.3 電子商務(wù)混合存儲系統(tǒng)的差異存儲模型構(gòu)建52-60
• 2.3.1 DST差異存儲模型的構(gòu)建原理53-54
• 2.3.2 TDST差異存儲模型構(gòu)建54-57
• 2.3.3 ADST差異存儲模型構(gòu)建57-60
• 2.4 實(shí)驗(yàn)評價60-65
• 2.4.1 TDST模型的性能實(shí)驗(yàn)60-64
• 2.4.2 ADST模型的性能實(shí)驗(yàn)64-65
• 2.5 本章小結(jié)65-67
• 第三章 電子商務(wù)數(shù)據(jù)庫查詢性能優(yōu)化67-80
• 3.1 引言67-68
• 3.2 相關(guān)研究68-69
• 3.3 電子商務(wù)混合存儲系統(tǒng)的查詢性能優(yōu)化69-74
• 3.3.1 基于TDST模型的HS-Join算法69-71
• 3.3.2 基于TDST模型的PHS-Join算法71-73
• 3.3.3 HS-Join算法在ADST模型中的應(yīng)用73-74
• 3.4 實(shí)驗(yàn)評價74-78
• 3.4.1 HS-Join查詢算法性能實(shí)驗(yàn)74-75
• 3.4.2 PHS-Join查詢算法性能實(shí)驗(yàn)75-78
• 3.5 本章小結(jié)78-80
• 第四章 電子商務(wù)數(shù)據(jù)庫事務(wù)處理性能優(yōu)化80-104
• 4.1 引言80-81
• 4.2 相關(guān)研究81-85
• 4.2.1 基于FTL的Flash事務(wù)恢復(fù)81-82
• 4.2.2 基于分離日志的事務(wù)恢復(fù)方法82-84
• 4.2.3 IBM DB2固態(tài)硬盤低延時存儲方案策略84-85
• 4.3 基于DST的電子商務(wù)數(shù)據(jù)庫部署方案研究85-96
• 4.3.1 基于TDST的OLTP系統(tǒng)結(jié)構(gòu)86-87
• 4.3.2 基于TDST的臨時表空間管理87-90
• 4.3.3 基于TDST的日志管理90-92
• 4.3.4 Dynamic Logging動態(tài)日志方法92-95
• 4.3.5 基于ADST的熱數(shù)據(jù)管理95-96
• 4.4 實(shí)驗(yàn)評價96-102
• 4.4.1 基于TDST的臨時表空間實(shí)驗(yàn)96-98
• 4.4.2 基于TDST的日志管理實(shí)驗(yàn)98-101
• 4.4.3 Dynamic Logging動態(tài)日志實(shí)驗(yàn)101-102
• 4.5 本章小結(jié)102-104
• 第五章 電子商務(wù)數(shù)據(jù)倉庫性能優(yōu)化104-129
• 5.1 引言104-105
• 5.2 相關(guān)研究105-107
• 5.3 列存儲的電子商務(wù)數(shù)據(jù)倉庫的性能優(yōu)化研究107-119
• 5.3.1 基于ADST的列遷移存儲算法108-110
• 5.3.2 基于ADST的行列混合存儲方法110-114
• 5.3.3 基于ADST的差異壓縮方法114-117
• 5.3.4 基于ADST的CS-SubJoin查詢優(yōu)化算法117-119
• 5.4 實(shí)驗(yàn)評價119-127
• 5.4.1 基于ADST的列遷移存儲算法性能實(shí)驗(yàn)119-122
• 5.4.2 基于ADST的行列混合存儲方法實(shí)驗(yàn)122-124
• 5.4.3 基于ADST的差異壓縮方法實(shí)驗(yàn)124-125
• 5.4.4 基于ADST的CS-SubJoin算法性能實(shí)驗(yàn)125-127
• 5.5 本章小結(jié)127-129
• 第六章 結(jié)論與展望129-134
• 6.1 本文工作總結(jié)129-132
• 6.2 未來工作展望132-134
• 參考文獻(xiàn)134-146
• 附錄 基于TPC-C測試標(biāo)準(zhǔn)的事務(wù)執(zhí)行程序146-155
• 讀博期間參加的科研項(xiàng)目155-156
• 讀博期間發(fā)表和錄用的論文156-158
• 致謝158

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前4條

1 鄭文靜;李明強(qiáng);舒繼武;;Flash存儲技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2010年04期

2 于利勝;張延松;王珊;張倩;;基于行存儲模型的模擬列存儲策略研究[J];計(jì)算機(jī)研究與發(fā)展;2010年05期

3 姜久雷;王江靜;;列存儲模式下閃存數(shù)據(jù)庫的查詢優(yōu)化算法[J];計(jì)算機(jī)工程;2010年24期

4 梁智超;周大;孟小峰;;Sub-Join:面向閃存數(shù)據(jù)庫的查詢優(yōu)化算法[J];計(jì)算機(jī)科學(xué)與探索;2010年05期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 向小巖;閃存數(shù)據(jù)庫若干關(guān)鍵問題研究[D];中國科學(xué)技術(shù)大學(xué);2009年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 郭海峰;銀河麒麟操作系統(tǒng)上基于TPC-C的Oracle調(diào)優(yōu)研究與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2005年

，

本文編號：675425