本文關(guān)鍵詞：HBase存儲(chǔ)的研究與應(yīng)用

  更多相關(guān)文章： HBase Hadoop 數(shù)據(jù)庫(kù) 存儲(chǔ) 加載數(shù)據(jù) 查詢(xún)

【摘要】：因特網(wǎng)的快速發(fā)展已經(jīng)徹底改變了人們的生活。如今每時(shí)每刻都會(huì)有大量的數(shù)據(jù)被傳到互聯(lián)網(wǎng)上。伴隨著數(shù)據(jù)規(guī)模越來(lái)越大,越來(lái)越多的數(shù)據(jù)存儲(chǔ)業(yè)務(wù)場(chǎng)景開(kāi)始考慮水平擴(kuò)展,這樣就可以刪除和增加存儲(chǔ)服務(wù),而目前的關(guān)系型數(shù)據(jù)庫(kù)更側(cè)重在一臺(tái)服務(wù)器上。海量數(shù)據(jù)的存儲(chǔ)成為瓶頸,單臺(tái)服務(wù)器無(wú)法加載大量數(shù)據(jù)。HBase是從Hadoop中分離出來(lái)的Apache頂級(jí)開(kāi)源項(xiàng)目。由于它很好地用Java實(shí)現(xiàn)了Google的BigTable系統(tǒng)的大部分功能,所以在數(shù)據(jù)量激增的今天非常受歡迎。HBase的存儲(chǔ)機(jī)制不同于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù),它是基于列存儲(chǔ)的非關(guān)系型數(shù)據(jù)庫(kù),在海量數(shù)據(jù)存儲(chǔ)與查詢(xún)方面有很大的優(yōu)勢(shì)。因此,研究HBase的存儲(chǔ)機(jī)制以及查詢(xún)特性有很大的實(shí)際意義。 本文從HBase的存儲(chǔ)機(jī)制入手,對(duì)其加載數(shù)據(jù)特點(diǎn)以及查詢(xún)方式等內(nèi)容進(jìn)行了深入研究。主要工作包括以下內(nèi)容： 1. HBase底層存儲(chǔ)機(jī)制的研究。本文詳細(xì)分析了HBase的底層存儲(chǔ)機(jī)制,并以實(shí)際存儲(chǔ)數(shù)據(jù)出發(fā),對(duì)其存儲(chǔ)特點(diǎn)進(jìn)行了分析。HBase會(huì)徹底修改數(shù)據(jù)的存儲(chǔ)格式,但需要耗費(fèi)更多的存儲(chǔ)空間以換得快速的查詢(xún)效率。 2. HBase加載數(shù)據(jù)的研究。使用HBase之前,首先需要將海量數(shù)據(jù)加載到HBase當(dāng)中。HBase本身帶有幾種不同的加載數(shù)據(jù)方式,各有特點(diǎn)。同時(shí)提供了接口允許用戶(hù)自定義加載數(shù)據(jù)。文本借助MapReduce并行計(jì)算框架實(shí)現(xiàn)了HBase自定義并行加載數(shù)據(jù)方式,并且其具有較高的執(zhí)行效率。 3. HBase查詢(xún)效率的研究與分析。HBase的優(yōu)勢(shì)在于海量數(shù)據(jù)隨機(jī)查詢(xún),但是由于其不支持SQL查詢(xún),對(duì)于復(fù)查的業(yè)務(wù)流程難以滿(mǎn)足需求。但是其提供了與Hive整合的接口,允許將數(shù)據(jù)存儲(chǔ)在HBase當(dāng)中,但是用Hive進(jìn)行查詢(xún)。本文詳細(xì)分析了HBase的查詢(xún)特點(diǎn),并實(shí)現(xiàn)了HBase與Hive整合查詢(xún)。 4. HBase與MapReduce整合的研究與分析。相對(duì)于其他非關(guān)系型數(shù)據(jù)庫(kù),HBase最大的優(yōu)勢(shì)在于與Hadoop的天然結(jié)合。Hadoop是當(dāng)前最流行的云計(jì)算技術(shù)之一。借助HBase的接口,本文實(shí)現(xiàn)了HBase與MapReduce的整合,使得算法可以直接以HBase作為輸入、輸出源。
【關(guān)鍵詞】：HBase Hadoop 數(shù)據(jù)庫(kù) 存儲(chǔ) 加載數(shù)據(jù) 查詢(xún)
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TP333
【目錄】：

• 摘要4-6
• ABSTRACT6-10
• 第一章 緒論10-19
• 1.1 課題研究背景10-12
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀12-16
• 1.3 論文相關(guān)工作16-17
• 1.3.1 HBase底層存儲(chǔ)機(jī)制以及向HBase加載數(shù)據(jù)的研究16
• 1.3.2 HBase查詢(xún)分析16-17
• 1.3.3 HBase與MapReduce整合17
• 1.4 論文組織結(jié)構(gòu)17-19
• 第二章 HBase存儲(chǔ)機(jī)制及加載數(shù)據(jù)研究19-33
• 2.1 HBase存儲(chǔ)機(jī)制研究19-24
• 2.1.1 HBase系統(tǒng)架構(gòu)20-22
• 2.1.2 HBase文件存儲(chǔ)格式22-24
• 2.2 HBase加載數(shù)據(jù)24-31
• 2.2.1 自帶加載數(shù)據(jù)方法25-28
• 2.2.2 自定義加載數(shù)據(jù)28-31
• 2.3 本章小結(jié)31-33
• 第三章 HBase查詢(xún)分析33-40
• 3.1 簡(jiǎn)單查詢(xún)對(duì)比分析33-36
• 3.1.1 Hive對(duì)比分析33-35
• 3.1.2 存儲(chǔ)空間對(duì)比35-36
• 3.2 HBase與Hive整合36-39
• 3.2.1 整合操作36-38
• 3.2.2 聚合查詢(xún)對(duì)比38-39
• 3.3 本章小結(jié)39-40
• 第四章 HBase典型示范應(yīng)用40-52
• 4.1 電信網(wǎng)絡(luò)尋呼黑洞40-44
• 4.1.1 數(shù)據(jù)描述41-42
• 4.1.2 傳統(tǒng)解決方法描述42-44
• 4.2 基于HBase的尋呼黑洞分析44-51
• 4.2.1 建立數(shù)據(jù)表45-47
• 4.2.2 加載數(shù)據(jù)47-48
• 4.2.3 數(shù)據(jù)分析48-51
• 4.3 本章小結(jié)51-52
• 第五章 基于HBase的MapReduce處理52-62
• 5.1 基于HBase的MapReduce實(shí)現(xiàn)原理52-54
• 5.2 典型數(shù)據(jù)挖掘算法實(shí)現(xiàn)54-59
• 5.2.1 Kmeans 算法54-56
• 5.2.2 單變量假設(shè)檢驗(yàn)56-59
• 5.3 性能測(cè)試59-61
• 5.4 本章小結(jié)61-62
• 第六章 總結(jié)與展望62-64
• 6.1 全文工作總結(jié)62-63
• 6.2 展望未來(lái)63-64
• 參考文獻(xiàn)64-66
• 致謝66-68
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄68

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前9條

1 王映東;匡藝;費(fèi)江濤;;Bigtable系統(tǒng)的負(fù)載平衡技術(shù)研究[J];計(jì)算機(jī)安全;2009年02期

2 李慧蓮;鄒海燕;林宇年;;尋呼成功率優(yōu)化方法探討[J];電信技術(shù);2013年05期

3 劉海濤;無(wú)線尋呼“黑洞”的查找和優(yōu)化[J];通信世界;2004年33期

4 毛典輝;;基于MapReduce的Canopy-Kmeans改進(jìn)算法[J];計(jì)算機(jī)工程與應(yīng)用;2012年27期

5 程麗萍;孫傳亮;;尋找尋呼黑洞小區(qū)提升尋呼成功率的方法[J];黑龍江科技信息;2013年20期

6 張曉清;費(fèi)江濤;潘清;;分布式海量數(shù)據(jù)管理系統(tǒng)Bigtable主服務(wù)器設(shè)計(jì)[J];計(jì)算機(jī)工程與設(shè)計(jì);2010年05期

7 張曉清;費(fèi)江濤;潘清;;分布式海量數(shù)據(jù)管理系統(tǒng)Bigtable數(shù)據(jù)服務(wù)器設(shè)計(jì)[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2009年03期

8 陳長(zhǎng)生,徐勇勇;重復(fù)觀測(cè)數(shù)據(jù)單變量方差分析的前提條件的檢驗(yàn)[J];中國(guó)衛(wèi)生統(tǒng)計(jì);2000年02期

9 孫少陵;周大;錢(qián)嶺;;云數(shù)據(jù)倉(cāng)庫(kù)高性能查詢(xún)技術(shù)研究[J];郵電設(shè)計(jì)技術(shù);2011年10期

，

本文編號(hào)：559533