本文關鍵詞：基于MapReduce大數(shù)據(jù)并行處理的若干關鍵技術研究

  更多相關文章： 大數(shù)據(jù) 列存儲 MapReduce模型 哈希連接 物化策略 頻繁查詢

【摘要】：關系數(shù)據(jù)庫技術在傳統(tǒng)數(shù)據(jù)科學領域的研究已經(jīng)比較完善,但是由于當前CPU計算能力與磁盤讀寫技術發(fā)展的不平衡,使I/O成為了傳統(tǒng)數(shù)據(jù)庫性能提升的瓶頸。此外,傳統(tǒng)數(shù)據(jù)庫也無法勝任非結構化數(shù)據(jù)類型的數(shù)據(jù)分析處理任務。隨著大數(shù)據(jù)研究的日益深入,出現(xiàn)了各種新的數(shù)據(jù)查詢處理方法。關系數(shù)據(jù)庫和非關系型數(shù)據(jù)庫技術相融合研究是數(shù)據(jù)科學、數(shù)據(jù)工程領域的研究熱點,國內外研究學者進行了一些探索,仍然有很多關鍵問題有待解決。如何實現(xiàn)利用MapReduce分布式并行計算方法解決大數(shù)據(jù)查詢處理,以及針對查詢處理系統(tǒng)提出有效的查詢優(yōu)化策略是目前學術界普遍關注的問題。本文正是從利用MapReduce分布式并行計算的思想和方法入手,設計了新的面向大數(shù)據(jù)的查詢分析處理方法,本文的研究工作概括為以下幾個方面:一、在傳統(tǒng)關系數(shù)據(jù)庫查詢代價估計模型基礎上,設計了基于MapReduce的大數(shù)據(jù)并行處理的代價估計模型,并且針對不同的優(yōu)化策略,分別設計了Hash連接環(huán)境,查詢物化策略環(huán)境以及頻繁查詢環(huán)境下的代價估計優(yōu)化模型。二、討論了并行處理系統(tǒng)的查詢優(yōu)化控制問題。提出基于列存儲的大數(shù)據(jù)分析系統(tǒng)物化策略。首先,通過引入MapReduce物化代價估計模型,深入分析影響物化效率的各個因素。在此基礎上設計了MapReduce分布式環(huán)境下的面向物化策略的存儲系統(tǒng)文件格式:MMF,在數(shù)據(jù)加載過程中采用協(xié)同定位策略實現(xiàn)對物化數(shù)據(jù)的存儲優(yōu)化;其次,分別針對不同的物化時機,構建了mapreduce早期物化策略,mapreduce延遲物化策略和mapreduce混合物化策略;然后,利用自適應物化調整策略對其做了進一步優(yōu)化。三、針對傳統(tǒng)關系型數(shù)據(jù)庫在對大數(shù)據(jù)訪問操作時,系統(tǒng)性能嚴重下降,計算效率提升有限以及可擴展性差等問題,引入mapreduce并行計算模型,設計了大數(shù)據(jù)上基于列存儲的mapreduce并行連接算法。首先,設計了面向大數(shù)據(jù)的分布式計算模型,其次,使用了分片聚集和子連接啟發(fā)式優(yōu)化方法實現(xiàn)大數(shù)據(jù)在mapreduce分布式環(huán)境下并行連接算法。四、設計了大數(shù)據(jù)上基于列存儲的支持負載數(shù)據(jù)偏斜動態(tài)探測的mapreduce分布式hash連接算法。首先,建立了面向大數(shù)據(jù)的分布式計算模型,在此基礎上設計了mapreduce環(huán)境下的哈希分布式存儲系統(tǒng);其次,在數(shù)據(jù)加載過程中采用協(xié)同定位策略實現(xiàn)對數(shù)據(jù)分布的優(yōu)化,減少數(shù)據(jù)偏斜的出現(xiàn);然后,在設計的分片聚集并行連接基礎上,利用hash連接以及動態(tài)探測方法優(yōu)化了數(shù)據(jù)連接處理效率。五、通過討論并行處理系統(tǒng)的調度優(yōu)化控制問題,設計了面向大數(shù)據(jù)頻繁查詢工作負載的優(yōu)化方法。首先,建立頻繁查詢模型,分析了mapreduce環(huán)境下影響頻繁查詢效率各種因素。其次,設計了基于mapreduce一致性窗口分片算法,不僅為頻繁查詢集合創(chuàng)建更多的重用機會,而且通過對輸入數(shù)據(jù)這樣的精細粒度調度,可以大大減少冗余數(shù)據(jù)加載。然后,在數(shù)據(jù)調度方面,利用mapreduce延遲調度策略,提高數(shù)據(jù)處理吞吐量,優(yōu)化mapreduce集群計算資源分配,通過mapreduce頻繁查詢數(shù)據(jù)重用策略,構造最佳的數(shù)據(jù)重用調度執(zhí)行計劃。最后,開發(fā)了基于hadoop的算法測試原型系統(tǒng)hcms對所提方法進行逐一驗證。實驗結果在證明算法有效的同時,也能提供良好的可擴展性。通過分析證明算法在執(zhí)行時間、在存儲空間和負載能力上,都有很好的表現(xiàn)。
【學位授予單位】：東華大學
【學位級別】：博士
【學位授予年份】：2017
【分類號】：TP311.13

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王光;;幾何操作的數(shù)據(jù)并行復現(xiàn)(英文)[J];西安文理學院學報(自然科學版);2009年04期

2 史英超;張發(fā)存;段敬紅;;面向嵌入式應用的數(shù)據(jù)并行語言設計[J];計算機工程與應用;2011年04期

3 陳斯愈,黃林鵬,孫永強;一個數(shù)據(jù)并行語言的設計及其實現(xiàn)[J];計算機工程;1997年03期

4 韓天舒;胡銘曾;李曉明;方濱興;;數(shù)據(jù)并行語言中的擴展結構[J];計算機科學;1998年03期

5 劉振英,方濱興,張毅;數(shù)據(jù)并行語言中的任務并行[J];計算機工程與應用;1999年10期

6 李向宏,王丁,王鑫;數(shù)據(jù)并行問題的性能分析及優(yōu)化[J];信息技術;2002年03期

7 王玨;胡長軍;;數(shù)據(jù)并行中通信表內元素關系定理的證明[J];華中科技大學學報(自然科學版);2006年S1期

8 余華山,胡長軍,黃其軍,丁文魁,許卓群;一個用于數(shù)據(jù)并行語言計算劃分的時序優(yōu)化模型(英文)[J];軟件學報;2001年10期

9 桂兵祥;何健;;基于高性能云的分布式數(shù)據(jù)并行處理機制[J];武漢工業(yè)學院學報;2010年01期

10 何連躍,沈志宇,趙克佳;數(shù)據(jù)并行語言編譯系統(tǒng)的并行循環(huán)迭代分布算法[J];計算機工程與設計;1999年03期

中國重要會議論文全文數(shù)據(jù)庫 前2條

1 陳慶奎;那麗春;;一個支持數(shù)據(jù)并行型計算的網(wǎng)格模型[A];2005通信理論與技術新進展——第十屆全國青年通信學術會議論文集[C];2005年

2 崔同云;陳慶奎;;一個網(wǎng)格并行計算實現(xiàn)方法[A];2006北京地區(qū)高校研究生學術交流會——通信與信息技術會議論文集（上）[C];2006年

中國博士學位論文全文數(shù)據(jù)庫 前3條

1 張濱;基于MapReduce大數(shù)據(jù)并行處理的若干關鍵技術研究[D];東華大學;2017年

2 肖天;數(shù)據(jù)并行程序正確性分析與網(wǎng)絡流量優(yōu)化[D];清華大學;2014年

3 王耀華;數(shù)據(jù)并行處理器中指令流出的協(xié)同性研究[D];國防科學技術大學;2013年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 趙滿;地震數(shù)據(jù)并行訪問策略的研究[D];東北石油大學;2013年

2 王馨梅;數(shù)據(jù)并行計算仿真的研究與實現(xiàn)[D];西安理工大學;2004年

3 朱斯圢;海量氣象數(shù)據(jù)并行可視化框架[D];浙江大學;2013年

4 梁玲玲;數(shù)據(jù)并行交換的長事務分配與調度模型[D];長春理工大學;2011年

5 秦宜州;實時監(jiān)控系統(tǒng)中基于多核并發(fā)的并行技術應用研究[D];東北大學;2012年

6 張元平;分布式XML數(shù)據(jù)并行更新及發(fā)布方法的研究[D];重慶大學;2007年

7 王仲剛;基于云計算的海量高鐵噪聲數(shù)據(jù)并行處理方法研究[D];西南交通大學;2013年

8 歐陽柳;地理柵格數(shù)據(jù)并行訪問技術研究與實現(xiàn)[D];國防科學技術大學;2012年

9 楊帆;OpenProbe地震體數(shù)據(jù)并行渲染機制及實現(xiàn)[D];吉林大學;2015年

10 劉美飛;基于USB接口的多串口數(shù)據(jù)并行接收方法研究[D];西安工業(yè)大學;2012年

，

本文編號：1265351