本文關(guān)鍵詞：面向海量天文數(shù)據(jù)的分布式存儲(chǔ)引擎的研究

  更多相關(guān)文章： 海量天文數(shù)據(jù) 分布式存儲(chǔ) 位圖索引 OrangeFS FastBit 數(shù)據(jù)布局

【摘要】：隨著天文觀測(cè)設(shè)備和技術(shù)的進(jìn)步，天文觀測(cè)數(shù)據(jù)規(guī)模的迅速增長(zhǎng)使得如何存儲(chǔ)海量觀測(cè)數(shù)據(jù)以及如何能夠迅速?gòu)闹蝎@取想要的信息成為難題。傳統(tǒng)單節(jié)點(diǎn)的文件系統(tǒng)和關(guān)系型數(shù)據(jù)庫(kù)在處理海量天文數(shù)據(jù)方面的性能無(wú)法讓人接受。因此，設(shè)計(jì)一套針對(duì)海量天文數(shù)據(jù)處理的分布式存儲(chǔ)引擎便顯得十分的必要和重要。 天文數(shù)據(jù)可以分為星表數(shù)據(jù)和星圖數(shù)據(jù)，這兩種數(shù)據(jù)有不同的格式和應(yīng)用場(chǎng)景。本文針對(duì)天文星表和星圖的特點(diǎn)，分別設(shè)計(jì)了兩種分布式存儲(chǔ)方案，進(jìn)而加快對(duì)這兩種數(shù)據(jù)的存取。星圖數(shù)據(jù)采用分布式文件系統(tǒng)來(lái)存取，本文基于星圖數(shù)據(jù)的特點(diǎn)首先提出了混合數(shù)據(jù)訪問(wèn)模型以減輕分布式文件系統(tǒng)中的網(wǎng)絡(luò)開(kāi)銷，然后在開(kāi)源分布式文件系統(tǒng)OrangeFS上實(shí)現(xiàn)了該模型。星表數(shù)據(jù)則采用基于位圖索引的列式存儲(chǔ)引擎FastBit，本文針對(duì)單節(jié)點(diǎn)版本的FastBit在處理海量天文數(shù)據(jù)時(shí)會(huì)遇到的內(nèi)存問(wèn)題，設(shè)計(jì)并實(shí)現(xiàn)了FastBit的分布式數(shù)據(jù)存儲(chǔ)引擎，提出了FastBit的分布式數(shù)據(jù)劃分算法以及基于SQL分析的并行查詢算法。 本文主要分為兩部分，第一部分首先分析了分布式文件系統(tǒng)中客戶端節(jié)點(diǎn)在不同文件大小與不同數(shù)據(jù)規(guī)模下的吞吐率瓶頸，并根據(jù)天文星圖的特征提出了混合數(shù)據(jù)訪問(wèn)模型。從模型的意義和目的角度，對(duì)其進(jìn)行了分析和介紹。接著描述了模型的原理和流程，以及如何將該模型應(yīng)用到實(shí)際的OrangeFS分布式文件系統(tǒng)中。通過(guò)benchmark以及真實(shí)天文應(yīng)用的測(cè)試，驗(yàn)證了采用該模型的分布式存儲(chǔ)對(duì)天文星圖讀寫(xiě)的加速效果。 第二部分首先分析傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)在處理海量天文星表數(shù)據(jù)時(shí)所存在的問(wèn)題，并介紹了基于位圖索引的列式存儲(chǔ)引擎FastBit以及它在處理海量天文數(shù)據(jù)時(shí)所存在的內(nèi)存問(wèn)題。然后提出了FastBit的分布式數(shù)據(jù)劃分算法以及基于SQL分析的并行查詢算法，描述了FastBit分布式存儲(chǔ)的整體架構(gòu)，最后通過(guò)天文星表數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證，，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了性能分析。
【關(guān)鍵詞】：海量天文數(shù)據(jù) 分布式存儲(chǔ) 位圖索引 OrangeFS FastBit 數(shù)據(jù)布局
【學(xué)位授予單位】：天津大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-12
• 1.1 課題背景9-10
• 1.2 研究意義10
• 1.3 研究?jī)?nèi)容和創(chuàng)新10-11
• 1.4 論文結(jié)構(gòu)11-12
• 第二章 分布式存儲(chǔ)和天文數(shù)據(jù)概述12-19
• 2.1 現(xiàn)代存儲(chǔ)系統(tǒng)概述12-15
• 2.1.1 傳統(tǒng)文件系統(tǒng)13-14
• 2.1.2 傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)14-15
• 2.2 分布式存儲(chǔ)系統(tǒng)和 NoSQL 概述15-17
• 2.2.1 分布式文件系統(tǒng)15-16
• 2.2.2 NoSQL 數(shù)據(jù)庫(kù)16-17
• 2.3 天文數(shù)據(jù)概述17-19
• 第三章 分布式文件系統(tǒng)吞吐率的分析19-24
• 3.1 分布式文件系統(tǒng)的整體架構(gòu)19-20
• 3.2 國(guó)內(nèi)外分布式文件系統(tǒng)的研究現(xiàn)狀20-21
• 3.3 分布式文件系統(tǒng)的數(shù)據(jù)布局策略21
• 3.4 分布式文件系統(tǒng)客戶端節(jié)點(diǎn)的吞吐率分析21-24
• 第四章 本地?cái)?shù)據(jù)訪問(wèn)模型的設(shè)計(jì)與實(shí)現(xiàn)24-36
• 4.1 共享內(nèi)存機(jī)制24
• 4.2 混合數(shù)據(jù)訪問(wèn)模型24-25
• 4.3 混合數(shù)據(jù)訪問(wèn)模型在 OrangeFS 上的應(yīng)用25-26
• 4.4 NUDA 架構(gòu)26-27
• 4.5 基于混合數(shù)據(jù)訪問(wèn)模型的 OrangeFS 讀寫(xiě)數(shù)據(jù)流程27-28
• 4.6 實(shí)驗(yàn)評(píng)估28-36
• 4.6.1 實(shí)驗(yàn)環(huán)境28-29
• 4.6.2 基于 IOzone 的實(shí)驗(yàn)分析29-33
• 4.6.3 基于 Montage 工作流的實(shí)驗(yàn)分析33-36
• 第五章 基于 FastBit 的海量星表分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)36-49
• 5.1 數(shù)據(jù)庫(kù)索引36-39
• 5.1.1 B 樹(shù)36-38
• 5.1.2 倒排索引38
• 5.1.3 位圖索引38-39
• 5.2 FastBit 介紹39-43
• 5.2.1 位圖編碼40-41
• 5.2.2 分桶41
• 5.2.3 WAH 位圖壓縮算法41-43
• 5.3 FastBit 分布式存儲(chǔ)方案的設(shè)計(jì)與實(shí)現(xiàn)43-47
• 5.3.1 SQL43-44
• 5.3.2 Shared-Nothing 體系結(jié)構(gòu)44
• 5.3.3 基于 FastBit 的分布式數(shù)據(jù)存儲(chǔ)44-46
• 5.3.4 基于 FastBit 的分布式數(shù)據(jù)檢索46
• 5.3.5 SABPS 算法的理論分析46-47
• 5.4 實(shí)驗(yàn)結(jié)果與分析47-49
• 第六章 海量天文數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)的總體架構(gòu)49-55
• 6.1 海量天文數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)的架構(gòu)設(shè)計(jì)49-55
• 6.1.1 一致性哈希算法49-51
• 6.1.2 系統(tǒng)架構(gòu)和數(shù)據(jù)流向51-53
• 6.1.3 系統(tǒng)可擴(kuò)展性53-54
• 6.1.4 系統(tǒng)可靠性54-55
• 第七章 總結(jié)與展望55-57
• 7.1 全文總結(jié)55-56
• 7.2 研究工作展望56-57
• 參考文獻(xiàn)57-60
• 發(fā)表論文和參加科研情況說(shuō)明60-61
• 致謝61

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前1條

1 康書(shū)恒;楊子江;;FastBit在流量測(cè)量系統(tǒng)中的應(yīng)用[J];數(shù)字通信;2012年01期

本文編號(hào)：1101826