本文關鍵詞：DOA下分布式DRC的元數(shù)據(jù)分級存儲模型研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著云計算的發(fā)展和大數(shù)據(jù)的積累,互聯(lián)網系統(tǒng)面臨高并發(fā)的數(shù)據(jù)訪問,連接各系統(tǒng)的通信網絡也面臨高流量的數(shù)據(jù)傳輸,為滿足“互聯(lián)網+”時代靈活多變的應用需求,數(shù)據(jù)技術(Data Technology,DT)的發(fā)展和數(shù)據(jù)科學(Data Science, DS)的研究變得日益迫切。數(shù)據(jù)本身已經逐漸成為一種財富資本,面向數(shù)據(jù)、數(shù)據(jù)即服務、以數(shù)據(jù)為核心的思想逐漸形成。然而,如何有效的組織和管理急劇膨脹的海量異構數(shù)據(jù),是現(xiàn)代數(shù)據(jù)科學家和數(shù)據(jù)從業(yè)者面臨的一個重大挑戰(zhàn)。在此背景下,以分析和管理海量異構數(shù)據(jù)為目標的面向數(shù)據(jù)的軟件體系結構(Data Oriented Architecture, DOA)應運而生。DOA采用“以數(shù)據(jù)為核心,以數(shù)據(jù)標識為主線”的系統(tǒng)設計思路,管理著大量的數(shù)據(jù)資源池,描述這些數(shù)據(jù)資源池中各種屬性的數(shù)據(jù)稱為元數(shù)據(jù),因此作為DOA核心組成部分的數(shù)據(jù)注冊中心(Data Register Center, DRC)管理著海量的元數(shù)據(jù),隨著DOA管理的數(shù)據(jù)資源池的擴大,通過DRC注冊的元數(shù)據(jù)規(guī)模也會急劇增長,因此傳統(tǒng)的DRC性能瓶頸和訪問效率問題日益凸顯。本文在課題組已有的關于“面向數(shù)據(jù)的軟件體系結構”研究成果的基礎上,針對管理海量數(shù)據(jù)的特點,同時結合DOA體系結構中分布式管理和元數(shù)據(jù)存儲存在的相關問題,首先設計一種DRC分布式概要模型；其次利用靈活可擴展的Hbase來定義和存儲元數(shù)據(jù),并設計了一種可擴展的元數(shù)據(jù)規(guī)范；再次將優(yōu)先級元數(shù)據(jù)存儲在分布式緩存Memcached中提高訪問時效；然后設計出一種基于熱點訪問和數(shù)據(jù)價值的元數(shù)據(jù)分級策略；最后利用加權虛擬節(jié)點的一致性hash環(huán)算法實現(xiàn)分布式DRC的負載均衡。本文取得的主要成果如下：(1)使用靈活易擴展的Hbase數(shù)據(jù)庫實現(xiàn)了元數(shù)據(jù)的分布式存儲,實現(xiàn)了數(shù)據(jù)注冊中心的功能可擴展性,建立了可擴展的分布式數(shù)據(jù)注冊中心模型。(2)在Memcached分布式緩存技術基礎上,采用基于熱點訪問和數(shù)據(jù)價值的分級策略,建立了分布式數(shù)據(jù)注冊中心的元數(shù)據(jù)分級存儲機制,提高了數(shù)據(jù)請求的及時性。(3)采用加權虛擬節(jié)點的一致性hash環(huán)算法,實現(xiàn)了分布式數(shù)據(jù)注冊中心的緩存服務器的負載均衡性。本文取得的主要創(chuàng)新點包括：(1)提出了一種集群式管理海量元數(shù)據(jù)的分布式數(shù)據(jù)注冊中心的實現(xiàn)方法。該方法采用可擴展的Hbase數(shù)據(jù)庫對元數(shù)據(jù)進行分布式存儲,克服了原來單點數(shù)據(jù)注冊中心的性能瓶頸；也克服了原有的采用關系型數(shù)據(jù)庫存儲元數(shù)據(jù)的數(shù)據(jù)注冊中心的擴展性瓶頸；同時該方法采用了加權虛擬節(jié)點的一致性hash環(huán)算法,也提高了分布式數(shù)據(jù)注冊中心的負載均衡性。(2)提出了一種對元數(shù)據(jù)進行分布式分級存儲策略。該策略采用熱點訪問分級和數(shù)據(jù)價值分級策略來篩選優(yōu)先級元數(shù)據(jù),并使用Memcached分布式緩存服務器來緩存優(yōu)先級元數(shù)據(jù),實現(xiàn)了對優(yōu)先級元數(shù)據(jù)的快速高效查詢。
【關鍵詞】：分布式數(shù)據(jù)注冊中心 Hbase 一致性hash環(huán) 分布式緩存 分級存儲 DOA
【學位授予單位】：成都理工大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-6
• Abstract6-11
• 第1章 緒論11-19
• 1.1 引言11-12
• 1.2 研究背景與意義12-13
• 1.3 國內外研究現(xiàn)狀分析13-15
• 1.3.1 DOA架構13-14
• 1.3.2 Hbase分布式數(shù)據(jù)庫14
• 1.3.3 Memcached分布式緩存14-15
• 1.4 課題來源15
• 1.5 研究思路和內容15-16
• 1.5.1 研究思路15-16
• 1.5.2 研究內容16
• 1.6 研究成果與創(chuàng)新點16-17
• 1.7 論文的組織結構17-19
• 第2章 相關背景技術研究19-30
• 2.1 面向數(shù)據(jù)的體系架構19-21
• 2.1.1 DOA軟件體系結構19-20
• 2.1.2 數(shù)據(jù)注冊中心20-21
• 2.2 DOA“一切皆數(shù)據(jù)”的觀點21-22
• 2.2.1 “廣義數(shù)據(jù)”的概念21
• 2.2.2 “一切皆數(shù)據(jù)”大數(shù)據(jù)觀點的意義21-22
• 2.3 非關系型數(shù)據(jù)庫22-27
• 2.3.1 傳統(tǒng)關系型數(shù)據(jù)庫的局限22-23
• 2.3.2 分析型數(shù)據(jù)倉庫的特點和局限23-25
• 2.3.3 新型非關系型數(shù)據(jù)庫的特點25-27
• 2.4 負載均衡技術27
• 2.5 分布式緩存27-29
• 2.5.1 分布式緩存的特點27-28
• 2.5.2 應用場景28
• 2.5.3 分布式緩存的發(fā)展28-29
• 2.6 本章總結29-30
• 第3章 分布式數(shù)據(jù)注冊中心架構模型30-39
• 3.1 傳統(tǒng)DRC面臨的瓶頸和解決思路30-31
• 3.2 分布式DRC的架構模型31-33
• 3.2.1 分布式DRC架構概述31-32
• 3.2.2 分布式DRC架構分析32-33
• 3.3 Hbase實現(xiàn)功能可擴展的DRC33-38
• 3.3.1 Hbase分布式數(shù)據(jù)庫33-35
• 3.3.1.1 Hbase基本概念33-34
• 3.3.1.2 Hbase表結構34-35
• 3.3.1.3 Hbase數(shù)據(jù)操作35
• 3.3.2 分布式DRC中的元數(shù)據(jù)規(guī)范35-38
• 3.3.2.1 元數(shù)據(jù)各列族定義35-36
• 3.3.2.2 元數(shù)據(jù)各列族結構36-38
• 3.4 本章總結38-39
• 第4章 分布式DRC的元數(shù)據(jù)分級存儲策略39-55
• 4.1 優(yōu)先級元數(shù)據(jù)的分布式緩存39-41
• 4.1.1 采用Memcached的原因和意義39-40
• 4.1.2 Memcached緩存熱點元數(shù)據(jù)40-41
• 4.2 基于熱點和價值的元數(shù)據(jù)分級策略41-46
• 4.2.1 分級策略思想41-42
• 4.2.2 分級存儲模型42-44
• 4.2.3 分級策略規(guī)則44-46
• 4.3 分布式DRC的負載均衡46-54
• 4.3.1 一致性hash環(huán)算法47-50
• 4.3.1.1 一致性hash環(huán)算法原則47
• 4.3.1.2 一致性hash環(huán)原理47-50
• 4.3.2 虛擬節(jié)點一致性hash環(huán)算法50-52
• 4.3.3 加權虛擬節(jié)點一致性hash環(huán)算法52-54
• 4.4 本章總結54-55
• 第5章 實驗與測試55-60
• 5.1 環(huán)境配置55-56
• 5.2 實驗一分級策略實驗56-57
• 5.2.1 實驗結果56-57
• 5.2.2 分析結論57
• 5.3 實驗二負載均衡實驗57-59
• 5.3.1 實驗結果57-58
• 5.3.2 分析結論58-59
• 5.4 本章總結59-60
• 結論與展望60-63
• 致謝63-64
• 參考文獻64-66
• 攻讀碩士學位期間參與的科研項目66

【參考文獻】

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 郭曦榕;基于G/S模式的數(shù)字旅游工程及其評估技術研究[D];成都理工大學;2010年

  本文關鍵詞：DOA下分布式DRC的元數(shù)據(jù)分級存儲模型研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：309280