本文選題：分布式系統(tǒng)　切入點(diǎn)：OpenTSDB　出處：《華南理工大學(xué)》2016年碩士論文　論文類(lèi)型：學(xué)位論文

【摘要】：海量數(shù)據(jù)的存儲(chǔ)與查詢(xún)是進(jìn)行大數(shù)據(jù)分析的先決條件,如何高效靈活的存取海量數(shù)據(jù)已成為當(dāng)前業(yè)內(nèi)的研究熱點(diǎn)。華南理工大學(xué)能耗數(shù)據(jù)分析平臺(tái)采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)作為其存儲(chǔ)支撐,但受限于其理論模型與體系結(jié)構(gòu),很難在性能和擴(kuò)展性方面滿足大數(shù)據(jù)情景下的數(shù)據(jù)需求。非關(guān)系型數(shù)據(jù)庫(kù)可以較好的解決這些問(wèn)題,但其功能往往較為簡(jiǎn)單,在復(fù)雜查詢(xún)和事務(wù)管理等方面支持有限,并且缺乏標(biāo)準(zhǔn)化的查詢(xún)語(yǔ)言或接口,難以與基于SQL的查詢(xún)邏輯兼容,技術(shù)遷移難度大。為了解決上述問(wèn)題,本文對(duì)能耗分析平臺(tái)內(nèi)實(shí)時(shí)數(shù)據(jù)的特征進(jìn)行了詳細(xì)分析,并在廣泛技術(shù)調(diào)研的基礎(chǔ)上,整合關(guān)系型數(shù)據(jù)庫(kù)與非關(guān)系型數(shù)據(jù)庫(kù)的各自?xún)?yōu)勢(shì),設(shè)計(jì)并實(shí)現(xiàn)了一套基于OpenTSDB的海量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)。該系統(tǒng)的核心設(shè)計(jì)思想是:構(gòu)建由關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)OpenTSDB組成的異構(gòu)數(shù)據(jù)庫(kù)集群,關(guān)系數(shù)據(jù)庫(kù)中存儲(chǔ)關(guān)系特征強(qiáng)的、存在事務(wù)或復(fù)雜查詢(xún)需求的數(shù)據(jù);OpenTSDB則用于支撐海量實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)。在數(shù)據(jù)持久層模塊上,本文創(chuàng)新性的提出了一種基于面向切面編程的設(shè)計(jì)方案,借助Spring AOP增強(qiáng)Mybatis這一關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)持久化框架的查詢(xún)方法,在一次接口調(diào)用過(guò)程中同時(shí)實(shí)現(xiàn)兩類(lèi)數(shù)據(jù)庫(kù)的查詢(xún),用關(guān)系數(shù)據(jù)庫(kù)查詢(xún)結(jié)果驅(qū)動(dòng)OpenTSDB的查詢(xún),并最終按照接口定義返回規(guī)范的查詢(xún)結(jié)果。這一設(shè)計(jì)方案無(wú)需對(duì)相關(guān)框架或數(shù)據(jù)庫(kù)的代碼進(jìn)行修改,實(shí)現(xiàn)了各個(gè)模塊之間的松耦合,并且不會(huì)對(duì)上層的業(yè)務(wù)邏輯產(chǎn)生影響,具有良好的兼容性,極大的降低了技術(shù)遷移的難度。本文還提出了一種基于冗余存儲(chǔ)的順序讀取優(yōu)化設(shè)計(jì)方案,以額外的存儲(chǔ)空間為代價(jià)換取了使用不同字段進(jìn)行順序讀取效率提升。華南理工大學(xué)能耗數(shù)據(jù)分析平臺(tái)上進(jìn)行的一系列測(cè)試顯示基于OpenTSDB的海量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)具備完善的功能并有著良好的隨機(jī)/順序訪問(wèn)性能。
[Abstract]:Storing and querying massive data is a prerequisite for big data's analysis. How to access mass data efficiently and flexibly has become a research hotspot in the industry. The energy consumption data analysis platform of South China University of Technology uses the traditional relational database as its storage support, but is limited by its theoretical model and architecture. It is difficult to meet the data requirements in big data's situation in terms of performance and extensibility. Non-relational databases can solve these problems better, but their functions are often relatively simple, and their support for complex queries and transaction management is limited. And lack of standardized query language or interface, it is difficult to be compatible with query logic based on SQL, technology migration is difficult. In order to solve the above problems, the characteristics of real-time data in the energy consumption analysis platform are analyzed in detail. And on the basis of extensive technical investigation, integrating the respective advantages of relational database and non-relational database, A massive real-time data storage system based on OpenTSDB is designed and implemented. The core of the system is to construct a heterogeneous database cluster composed of relational database and non-relational database OpenTSDB. OpenTSDB, which has transaction or complex query requirements, is used to support the storage of massive real-time data. In the module of data persistence layer, this paper proposes an innovative design scheme based on section-oriented programming. With the help of Spring AOP to enhance the query method of Mybatis, which is the framework of relational database data persistence, the query of two kinds of databases is realized simultaneously in the process of single interface call, and the query of OpenTSDB is driven by the query result of relational database. Finally, the standard query result is returned according to the interface definition. This design scheme does not need to modify the code of the related framework or database, realizes the loose coupling between the various modules, and does not have an impact on the business logic of the upper layer. It has good compatibility and greatly reduces the difficulty of technology migration. This paper also proposes an optimized design scheme of sequential reading based on redundant storage. A series of tests conducted on the platform of energy consumption data analysis of South China University of Science and Technology show that the massive real-time data storage system based on OpenTSDB is based on the results of a series of tests conducted on the platform of energy consumption data analysis of South China University of Technology. Has the perfect function and has the good random / sequential access performance.
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;永久性數(shù)據(jù)存儲(chǔ)系統(tǒng)尋求合作[J];電腦與電信;2009年02期

2 楊則正;美國(guó)空軍人員數(shù)據(jù)存儲(chǔ)系統(tǒng)[J];管理科學(xué)文摘;1994年07期

3 李亮元;周銀珍;;數(shù)據(jù)存儲(chǔ)系統(tǒng)在銀行的應(yīng)用[J];金融電子化;2002年11期

4 陳端榮,裴先登,謝長(zhǎng)生,讓光林;體全息數(shù)據(jù)存儲(chǔ)系統(tǒng)中的一種調(diào)制碼研究[J];小型微型計(jì)算機(jī)系統(tǒng);2003年01期

5 張展 ,何岷 ,徐廣毅;嵌入式電子飛行儀表系統(tǒng)(一)——數(shù)據(jù)通信和數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J];電子世界;2003年05期

6 楊光鎮(zhèn);中山電力數(shù)據(jù)存儲(chǔ)系統(tǒng)方案[J];電力信息化;2004年05期

7 邢笠;;數(shù)字圖書(shū)館數(shù)據(jù)存儲(chǔ)系統(tǒng)解決方案的探討[J];浙江萬(wàn)里學(xué)院學(xué)報(bào);2006年02期

8 沈兆龍;江兵;蔡建文;唐火紅;邢卉;徐敏;黃文浩;;共焦雙光頭多層數(shù)據(jù)存儲(chǔ)系統(tǒng)[J];光電工程;2007年07期

9 張李蓀;;信息化建設(shè)中的數(shù)據(jù)存儲(chǔ)系統(tǒng)建設(shè)[J];人民長(zhǎng)江;2009年07期

10 李二補(bǔ);;數(shù)據(jù)存儲(chǔ)系統(tǒng)中可靠性及容錯(cuò)性研究[J];山西科技;2010年01期

相關(guān)會(huì)議論文 前3條

1 江楊;;流數(shù)據(jù)存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)研究[A];2007中國(guó)科協(xié)年會(huì)——通信與信息發(fā)展高層論壇論文集[C];2007年

2 章政海;;電廠數(shù)據(jù)存儲(chǔ)系統(tǒng)總體構(gòu)架研究[A];二○○九年全國(guó)電力企業(yè)信息化大會(huì)論文集[C];2009年

3 李非;邱天爽;遲戈;魏晶;;高速數(shù)據(jù)存儲(chǔ)在CT成像系統(tǒng)中的應(yīng)用研究[A];2008年醫(yī)療儀器學(xué)術(shù)年會(huì)暨理事會(huì)論文匯編[C];2008年

相關(guān)重要報(bào)紙文章 前10條

1 惠聞;SAN應(yīng)用不再難[N];網(wǎng)絡(luò)世界;2000年

2 ;SAN——高瞻者的選擇[N];網(wǎng)絡(luò)世界;2001年

3 ;傳統(tǒng)存儲(chǔ)方式 面臨變革[N];中國(guó)計(jì)算機(jī)報(bào);2004年

4 ;突破存儲(chǔ)的極限[N];中國(guó)電腦教育報(bào);2004年

5 ;惠普簡(jiǎn)化行業(yè)數(shù)據(jù)存儲(chǔ)系統(tǒng)[N];人民郵電;2005年

6 ;青島大學(xué)醫(yī)學(xué)院附屬醫(yī) Centera 應(yīng)用案例[N];中國(guó)電子報(bào);2005年

7 陳旭兵;岳陽(yáng)醫(yī)院“分級(jí)存儲(chǔ)”P(pán)ACS構(gòu)建[N];網(wǎng)絡(luò)世界;2008年

8 程鴻;政府信息資源需層次化管理[N];計(jì)算機(jī)世界;2004年

9 劉燕;福建采購(gòu)工商管理系統(tǒng)信息建設(shè)項(xiàng)目[N];政府采購(gòu)信息報(bào);2008年

10 IBM存儲(chǔ)事業(yè)部 張英偉;用邏輯卷鏡像安全備份[N];中國(guó)計(jì)算機(jī)報(bào);2006年

相關(guān)博士學(xué)位論文 前1條

1 陳海霞;計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)系統(tǒng)中讀寫(xiě)頭/盤(pán)間超薄氣膜動(dòng)力穩(wěn)定性研究[D];華中科技大學(xué);2004年

相關(guān)碩士學(xué)位論文 前10條

1 韓亮;手機(jī)售后維修管理及其數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2016年

2 單若琦;一種基于OpenTSDB的海量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)[D];華南理工大學(xué);2016年

3 鐘曉華;銀行操作數(shù)據(jù)存儲(chǔ)系統(tǒng)的分析與應(yīng)用[D];內(nèi)蒙古大學(xué);2009年

4 黃麗華;江西電信公司運(yùn)營(yíng)數(shù)據(jù)存儲(chǔ)系統(tǒng)的升級(jí)方案設(shè)計(jì)[D];南昌大學(xué);2010年

5 李啟芳;成工職校校園網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與應(yīng)用[D];電子科技大學(xué);2014年

6 張燦;云存儲(chǔ)中的數(shù)據(jù)動(dòng)態(tài)平衡技術(shù)研究[D];上海交通大學(xué);2012年

7 王建光;大規(guī)模時(shí)間序列數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

8 黃寅;高速數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與應(yīng)用[D];華中科技大學(xué);2009年

9 蘇文洲;容忍入侵的數(shù)據(jù)存儲(chǔ)系統(tǒng)研究與設(shè)計(jì)[D];蘭州大學(xué);2006年

10 祁軍;運(yùn)營(yíng)數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京郵電大學(xué);2012年

，

本文編號(hào)：1581360