本文關(guān)鍵詞：科學(xué)大數(shù)據(jù)云分析服務(wù)的性能優(yōu)化技術(shù)研究

  更多相關(guān)文章： 科學(xué)大數(shù)據(jù) 云分析服務(wù) 性能優(yōu)化 塊分割 Cost-based優(yōu)化器

【摘要】：隨著科學(xué)技術(shù)的發(fā)展,科學(xué)數(shù)據(jù)的爆炸式增長(zhǎng)給其存儲(chǔ)和分析帶來(lái)了巨大的壓力,如何高效的存儲(chǔ)和分析科學(xué)數(shù)據(jù)成為一個(gè)巨大的難題。一方面,科學(xué)數(shù)據(jù)模型一般以數(shù)組為主,傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)模型是表結(jié)構(gòu),因此不能天然的支持?jǐn)?shù)組模型,而是采用與分析型軟件相結(jié)合的方式來(lái)進(jìn)行科學(xué)分析。另一方面,采用RDBMS和分析軟件相結(jié)合的方式會(huì)帶來(lái)昂貴的成本;因此迫切需要一個(gè)能夠有效存儲(chǔ)和分析科學(xué)數(shù)據(jù)并能降低成本的系統(tǒng)。陣列數(shù)據(jù)庫(kù)和云計(jì)算技術(shù)的興起給科學(xué)大數(shù)據(jù)管理和分析需求帶來(lái)了良機(jī)。陣列數(shù)據(jù)庫(kù)以數(shù)組為一等公民,能天然支持科學(xué)數(shù)據(jù)的存儲(chǔ)和分析;云計(jì)算采用先進(jìn)的分布式計(jì)算及存儲(chǔ)架構(gòu)整合資源的方式向外提供資源服務(wù),為用戶降低了使用成本。因此,結(jié)合陣列數(shù)據(jù)庫(kù)與云計(jì)算平臺(tái)的優(yōu)勢(shì)為科學(xué)家和研究機(jī)構(gòu)提供高性能科學(xué)大數(shù)據(jù)云分析服務(wù),具有重要應(yīng)用價(jià)值和現(xiàn)實(shí)意義。本文綜合分析了當(dāng)前多種陣列數(shù)據(jù)庫(kù)和云平臺(tái)架構(gòu),結(jié)合當(dāng)前科學(xué)大數(shù)據(jù)管理系統(tǒng)的優(yōu)缺點(diǎn)對(duì)科學(xué)大數(shù)據(jù)云分析處理系統(tǒng)進(jìn)行了深入研究和性能優(yōu)化。主要研究?jī)?nèi)容為:(1)構(gòu)建了云平臺(tái)Proxmox VE,為云分析服務(wù)提供了平臺(tái)環(huán)境;(2)在云平臺(tái)上設(shè)計(jì)并實(shí)現(xiàn)了科學(xué)大數(shù)據(jù)云分析服務(wù)原型系統(tǒng)FASTDB;(3)對(duì)FASTDB系統(tǒng)進(jìn)行了兩個(gè)角度的性能評(píng)估實(shí)驗(yàn),為后續(xù)FASTDB的性能優(yōu)化提供了基礎(chǔ);(4)提出了FASTDB系統(tǒng)的存儲(chǔ)塊分割算法CLD以及實(shí)現(xiàn)了簡(jiǎn)單的基于數(shù)組統(tǒng)計(jì)信息的Cost-based查詢優(yōu)化器,提高了科學(xué)大數(shù)據(jù)云分析服務(wù)系統(tǒng)FASTDB的查詢分析性能。
【關(guān)鍵詞】：科學(xué)大數(shù)據(jù) 云分析服務(wù) 性能優(yōu)化 塊分割 Cost-based優(yōu)化器
【學(xué)位授予單位】：貴州大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP311.13;TP393.09
【目錄】：

• 摘要4-5
• Abstract5-6
• 第一章 緒論6-11
• 1.1 研究背景與意義6-7
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀7-9
• 1.3 研究?jī)?nèi)容及創(chuàng)新點(diǎn)9
• 1.4 論文組織結(jié)構(gòu)9-11
• 第二章 科學(xué)大數(shù)據(jù)云分析處理技術(shù)11-25
• 2.1 科學(xué)數(shù)據(jù)分析處理11-12
• 2.2 陣列數(shù)據(jù)庫(kù)12-17
• 2.2.1 SciDB13-15
• 2.2.2 Rasdaman15-16
• 2.2.3 MonetDB/SciQL16-17
• 2.3 云計(jì)算技術(shù)17-22
• 2.3.1 虛擬化技術(shù)17-19
• 2.3.2 多租戶技術(shù)19-20
• 2.3.3 云平臺(tái)構(gòu)建技術(shù)20-22
• 2.4 科學(xué)大數(shù)據(jù)分析處理22-24
• 2.4.1 SkyServer23
• 2.4.2 Myria23-24
• 2.4.3 AscotDB24
• 2.5 本章小結(jié)24-25
• 第三章 科學(xué)大數(shù)據(jù)云分析服務(wù)系統(tǒng)FASTDB的設(shè)計(jì)與實(shí)現(xiàn)25-33
• 3.1 FASTDB產(chǎn)生的背景25-26
• 3.1.1 FASTDB的需求分析25
• 3.1.2 FASTDB的設(shè)計(jì)目標(biāo)25-26
• 3.2 FASTDB的設(shè)計(jì)26-30
• 3.2.1 FASTDB的架構(gòu)設(shè)計(jì)26-27
• 3.2.2 FASTDB的存儲(chǔ)和分析子系統(tǒng)設(shè)計(jì)27-28
• 3.2.3 FASTDB的監(jiān)控子系統(tǒng)設(shè)計(jì)28-29
• 3.2.4 FASTDB的數(shù)據(jù)處理子系統(tǒng)設(shè)計(jì)29-30
• 3.3 FASTDB的實(shí)現(xiàn)30-32
• 3.4 本章小結(jié)32-33
• 第四章 FASTDB中云分析服務(wù)的性能優(yōu)化33-62
• 4.1 FASTDB的性能測(cè)試與分析33-46
• 4.1.1 集群環(huán)境與數(shù)據(jù)集33-34
• 4.1.2 科學(xué)分析任務(wù)34-38
• 4.1.3 FASTDB的Benchmark測(cè)試38-40
• 4.1.4 FASTDB與SkyServer的性能對(duì)比實(shí)驗(yàn)40-41
• 4.1.5 FASTDB與SkyServer的實(shí)驗(yàn)結(jié)果與性能分析41-46
• 4.2 FASTDB性能優(yōu)化——存儲(chǔ)塊分割策略優(yōu)化46-50
• 4.2.1 FASTDB的存儲(chǔ)塊分割策略47-48
• 4.2.2 FASTDB的存儲(chǔ)塊分割優(yōu)化-CLD算法48-49
• 4.2.3 FASTDB優(yōu)化后的性能測(cè)試與分析49-50
• 4.3 FASTDB性能優(yōu)化——基于array statistics的CBO優(yōu)化50-61
• 4.3.1 FASTDB的查詢優(yōu)化器51-52
• 4.3.2 基于array statistics的代價(jià)函數(shù)設(shè)計(jì)52-56
• 4.3.3 基于array statistic的CBO優(yōu)化器實(shí)現(xiàn)56-59
• 4.3.4 FASTDB優(yōu)化后的性能測(cè)試與分析59-61
• 4.4 本章小結(jié)61-62
• 第五章 總結(jié)與展望62-64
• 5.1 總結(jié)62
• 5.2 展望62-64
• 致謝64-65
• 參考文獻(xiàn)65-68
• 附錄68-69
• 圖表目錄69-70

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 丁燕云;魏娟;;淺析SQL數(shù)據(jù)庫(kù)的性能優(yōu)化問(wèn)題[J];科技信息(學(xué)術(shù)研究);2007年34期

2 ;簡(jiǎn)單易用網(wǎng)絡(luò)性能優(yōu)化軟件[J];網(wǎng)絡(luò)與信息;1999年10期

3 袁山龍,吳潔明;證券網(wǎng)上集中交易系統(tǒng)性能優(yōu)化的研究與應(yīng)用[J];微計(jì)算機(jī)應(yīng)用;2003年05期

4 張建華;王群華;;對(duì)系統(tǒng)性能優(yōu)化的十點(diǎn)辨析[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2007年05期

5 王勇;;基于SQL數(shù)據(jù)庫(kù)的性能優(yōu)化問(wèn)題分析[J];電腦知識(shí)與技術(shù);2008年15期

6 王保平;;性能優(yōu)化的簡(jiǎn)單法則[J];程序員;2009年09期

7 李培慧;何宗鍵;;某人力資源管理系統(tǒng)中用戶導(dǎo)入模塊性能優(yōu)化方案分析[J];科技信息;2010年35期

8 曉慧;;本本性能優(yōu)化圣手[J];電腦知識(shí)與技術(shù)(經(jīng)驗(yàn)技巧);2012年01期

9 王江偉;陳琛;;淺析軟件性能優(yōu)化[J];科技風(fēng);2012年08期

10 楊波;;系統(tǒng)性能優(yōu)化問(wèn)題研究[J];科技致富向?qū)?2013年09期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 姚杰;;寶鋼不銹鋼系統(tǒng)數(shù)據(jù)庫(kù)性能優(yōu)化方案[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2007年會(huì)論文集[C];2007年

2 代桂平;殷保群;奚宏生;周亞平;;受控M／G／1排隊(duì)系統(tǒng)的性能優(yōu)化[A];第二十二屆中國(guó)控制會(huì)議論文集（下）[C];2003年

3 李彥;王屹;徐繼明;;ERP系統(tǒng)的性能優(yōu)化[A];全國(guó)煉鋼連鑄過(guò)程自動(dòng)化技術(shù)交流會(huì)論文集[C];2006年

4 趙海波;楊昭;方箏;徐振軍;;燃?xì)鈮嚎s式熱泵系統(tǒng)全年季節(jié)性能優(yōu)化[A];中國(guó)制冷學(xué)會(huì)2007學(xué)術(shù)年會(huì)論文集[C];2007年

5 高明星;;DB2數(shù)據(jù)庫(kù)應(yīng)用性能優(yōu)化問(wèn)題淺談[A];科技、工程與經(jīng)濟(jì)社會(huì)協(xié)調(diào)發(fā)展——中國(guó)科協(xié)第五屆青年學(xué)術(shù)年會(huì)論文集[C];2004年

6 奚宏生;唐昊;殷保群;周亞平;;Markov控制過(guò)程在緊致行動(dòng)集上的性能優(yōu)化[A];第二十一屆中國(guó)控制會(huì)議論文集[C];2002年

7 高明星;;DB2數(shù)據(jù)庫(kù)應(yīng)用性能優(yōu)化問(wèn)題淺談[A];鐵道部信息技術(shù)中心成立30周年暨鐵路運(yùn)輸管理信息系統(tǒng)（TMIS）工程全面竣工投產(chǎn)TMIS工程建設(shè)論文專輯（二）[C];2005年

8 高明星;;DB2數(shù)據(jù)庫(kù)應(yīng)用性能優(yōu)化問(wèn)題淺談[A];中國(guó)鐵道學(xué)會(huì)——2004年度學(xué)術(shù)活動(dòng)優(yōu)秀論文評(píng)獎(jiǎng)?wù)撐募痆C];2005年

9 杜勁松;李強(qiáng);包勁松;;國(guó)產(chǎn)600MW機(jī)組循環(huán)效率試驗(yàn)及性能優(yōu)化分析[A];2008中國(guó)可持續(xù)發(fā)展論壇論文集（3）[C];2008年

10 杜勁松;李強(qiáng);包勁松;;國(guó)產(chǎn)600MW機(jī)組循環(huán)效率試驗(yàn)及性能優(yōu)化分析[A];全國(guó)火電大機(jī)組（600MW級(jí)）競(jìng)賽第十二屆年會(huì)論文集（上冊(cè)）[C];2008年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前4條

1 陳翔;性能優(yōu)化只能救火[N];中國(guó)計(jì)算機(jī)報(bào);2007年

2 本報(bào)記者 郭平;EMC簡(jiǎn)單高效實(shí)現(xiàn)私有云[N];計(jì)算機(jī)世界;2010年

3 ;安圖特引入新型數(shù)據(jù)加速解決方案[N];人民郵電;2008年

4 陳洪康 郭寶群 李雪梅;淺談VLDB性能優(yōu)化與維護(hù)[N];人民郵電;2001年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前7條

1 陳偉鋒;大規(guī)模復(fù)雜過(guò)程系統(tǒng)的高性能優(yōu)化理論與方法研究[D];浙江大學(xué);2011年

2 李磊;分布式系統(tǒng)中容錯(cuò)機(jī)制性能優(yōu)化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2007年

3 賈海鵬;面向GPU計(jì)算平臺(tái)的若干并行優(yōu)化關(guān)鍵技術(shù)研究[D];中國(guó)海洋大學(xué);2012年

4 那俊;基于兩階段適應(yīng)的ASBS性能持續(xù)優(yōu)化方法研究[D];東北大學(xué);2011年

5 魏丫丫;Web傳輸?shù)男阅軆?yōu)化[D];清華大學(xué);2006年

6 何倩;P2P系統(tǒng)性能優(yōu)化若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2010年

7 毛宏燕;基于部分計(jì)值的服務(wù)性能優(yōu)化研究[D];上海交通大學(xué);2006年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 鄒興偉;防偽纖維熒光檢測(cè)儀性能優(yōu)化研究[D];西南科技大學(xué);2015年

2 邱能俊;科學(xué)大數(shù)據(jù)云分析服務(wù)的性能優(yōu)化技術(shù)研究[D];貴州大學(xué);2015年

3 陳俊t，

本文編號(hào)：1047388