HBase是大數(shù)據(jù)存儲處理的重要工具,但由于HBase原生為java語言,使得第三方語言對其訪問受到限制,因此解決異構(gòu)系統(tǒng)高效訪問HBase數(shù)據(jù)庫是大數(shù)據(jù)主要解決的問題之一。本文針對異構(gòu)系統(tǒng)存取HBase數(shù)據(jù)庫的問題,研究Thrift存儲機制,分析存儲性能,改進數(shù)據(jù)存儲結(jié)構(gòu),提高存儲效率。并以空間在軌飛行器數(shù)據(jù)為存儲對象,驗證存儲性能。本文主要內(nèi)容如下:1.存儲機制分析。HBase按字典序排列存儲特性,會使系統(tǒng)出現(xiàn)存儲熱點問題,影響存儲性能及集群負載均衡;由于HBase刷寫特性,隨著數(shù)據(jù)量增加,會使Region寫操作阻塞,數(shù)據(jù)強制寫入數(shù)據(jù)庫,系統(tǒng)寫效率受到影響;Thrift接口定義語言對HBase數(shù)據(jù)庫按行存儲,當數(shù)據(jù)量大時頻繁進行數(shù)據(jù)請求操作,增加服務(wù)調(diào)用時間,影響系統(tǒng)通信性能。2.存儲優(yōu)化設(shè)計。針對以上問題,本文對大數(shù)據(jù)存儲進行了優(yōu)化設(shè)計。首先設(shè)計了rowkey值散列存儲,實現(xiàn)負載均衡,避免熱點問題;根據(jù)刷寫值大小對寫效率的影響,設(shè)置合適的系統(tǒng)刷寫方案;最后設(shè)計了Thrift IDL通信模型,重新定義了數(shù)據(jù)傳輸結(jié)構(gòu),將多行數(shù)據(jù)綁定在一起,經(jīng)過一次RPC調(diào)用完成多行數(shù)據(jù)按塊存儲;按照... 

【文章來源】：中北大學山西省

【文章頁數(shù)】：72 頁

【學位級別】：碩士

【部分圖文】：

系統(tǒng)總體結(jié)構(gòu)

圖 2.2 Xen 虛擬化體系結(jié)構(gòu)示意圖ypervisor 虛擬機管理程序：此部分功能為底層任務(wù)的調(diào)度管理實Xen Hypervisor 為了給 domU 域提供簡潔的設(shè)備訪問模型實現(xiàn)了擬設(shè)備，同時還為各個 domU 域分配硬件資源。l Domain 控制域：也稱為“Domain0”或者“dom0”，是一個具ux 虛擬機，驅(qū)動 XenServer 管理工具棧的運行，提供管理的功能夠?qū)ξ锢碓O(shè)備訪問，控制域?qū)Ⅱ?qū)動程序堆棧運行。Domain0 和 X從而實現(xiàn)對 domU 域的管理。ement toolstack(管理工具棧)：運行在 Domain0 中，也稱為 xapi，啟動、關(guān)閉、刪除等操作，實現(xiàn)虛擬機對硬件設(shè)備的訪問管理nServer 的管理rver 有兩種管理方法，分別為 XenCenter 和 XenServer 命令行基于 Windows 系統(tǒng)的圖形化用戶管理軟件，XenCenter 允許從管理 XenServer 主機，同時也可設(shè)置共享存儲。通過 XenCente

圖 2.3 XenServer 管理實現(xiàn)encenter 是通過網(wǎng)絡(luò)連接到其 Domain0 域，然后再r 虛擬機的管理，而 XenServer 則是通過登錄到令行實現(xiàn) XenServer 管理。界面操作簡單，本文采用 XenCenter 來實現(xiàn) XenS機，客戶端運行 XenCenter 應(yīng)用程序。Server 主機資源池若干臺 XenServer 主機組成，這些主機捆綁在一起機池可包含最多 16 臺安裝相同版本 XenServer 的主所有服務(wù)器提供一個單一的連接點。主機資源池使

【參考文獻】：
期刊論文
[1]基于內(nèi)存的HBase二級索引設(shè)計[J]. 崔晨,鄭林江,韓鳳萍,何牧君.  計算機應(yīng)用. 2018(06)
[2]基于Thrift的服務(wù)端數(shù)據(jù)推送機制設(shè)計[J]. 楊旸,汪正舟,吳騰.  網(wǎng)絡(luò)新媒體技術(shù). 2017(03)
[3]基于Netty框架的高性能RPC通信系統(tǒng)的設(shè)計與實現(xiàn)[J]. 張艷軍,王劍,葉曉平,李培遠.  工業(yè)控制計算機. 2016(05)
[4]HBase架構(gòu)中RPC客戶端的通信性能優(yōu)化[J]. 胡波,譚良.  計算機科學. 2016(04)
[5]基于MapReduce和HBase的海量網(wǎng)絡(luò)數(shù)據(jù)處理[J]. 景晗,鄭建生,陳鯉文,許朝威.  科學技術(shù)與工程. 2015(34)
[6]HiBase:一種基于分層式索引的高效HBase查詢技術(shù)與系統(tǒng)[J]. 葛微,羅圣美,周文輝,趙頔,唐云,周娟,曲文武,袁春風,黃宜華.  計算機學報. 2016(01)
[7]基于Thrift的跨編程語言Flex應(yīng)用框架研究[J]. 吳洲.  計算機與現(xiàn)代化. 2013(05)
[8]運用Citrix實現(xiàn)桌面虛擬化管理[J]. 韓曉山.  中國科技信息. 2012(22)
[9]基于HBase的矢量空間數(shù)據(jù)分布式存儲研究[J]. 范建永,龍明,熊偉.  地理與地理信息科學. 2012(05)
[10]Java非阻塞通信研究[J]. 范寶德,馬建生.  微計算機信息. 2006(36)

碩士論文
[1]HDFS文件系統(tǒng)的改進研究[D]. 周長俊.南京郵電大學 2018
[2]HDFS高可用性方案的優(yōu)化與實現(xiàn)[D]. 胡文龍.南京郵電大學 2018
[3]基于HBase的高效數(shù)據(jù)存取平臺的設(shè)計與實現(xiàn)[D]. 張祎.北京郵電大學 2018
[4]基于RPC的高并發(fā)網(wǎng)絡(luò)通信中負載均衡的研究[D]. 馬原.浙江理工大學 2017
[5]基于Thrift框架的網(wǎng)絡(luò)設(shè)備審計系統(tǒng)的設(shè)計與實現(xiàn)[D]. 胡招武.北京郵電大學 2017
[6]HBase數(shù)據(jù)庫的安全索引研究[D]. 王楠.華中科技大學 2016
[7]基于確定性虛擬內(nèi)存模型的無阻塞通信的研究[D]. 張其良.中國科學技術(shù)大學 2016
[8]基于HBase的衛(wèi)星空間數(shù)據(jù)查詢系統(tǒng)設(shè)計與性能分析[D]. 馬育.北京化工大學 2015



本文編號：3486079