【摘要】：隨著各種大型高精度觀測設(shè)備和先進(jìn)探測儀器的建成和使用,天文觀測數(shù)據(jù)出現(xiàn)了爆發(fā)性增長。天文元數(shù)據(jù)歸檔系統(tǒng)通過管理元數(shù)據(jù)的方式來實現(xiàn)對天文觀測數(shù)據(jù)進(jìn)行歸檔,使得上層用戶可以通過檢索特定元數(shù)據(jù)信息來快速定位所需天文觀測數(shù)據(jù)集。但是當(dāng)前天文元數(shù)據(jù)歸檔系統(tǒng)所采用的離線或周期性歸檔方式存在實時性不足的問題,同時數(shù)據(jù)查詢響應(yīng)較慢,難以滿足實時數(shù)據(jù)查詢的應(yīng)用需求。針對上述問題,文中采用分布式流式數(shù)據(jù)處理架構(gòu)和圖數(shù)據(jù)庫等技術(shù)設(shè)計和實現(xiàn)了一個實時天文元數(shù)據(jù)歸檔系統(tǒng)。針對元數(shù)據(jù)歸檔實時性不足的問題,通過元數(shù)據(jù)采集模塊和元數(shù)據(jù)處理模塊的設(shè)計來達(dá)到元數(shù)據(jù)實時處理的目的,同時設(shè)計了元數(shù)據(jù)存儲模塊來改進(jìn)數(shù)據(jù)檢索響應(yīng)時間較長的問題。本文首先分析了天文元數(shù)據(jù)的數(shù)據(jù)特征,設(shè)計了基于實時監(jiān)控數(shù)據(jù)源方式來獲取數(shù)據(jù)源數(shù)據(jù)動態(tài)信息的方法,并結(jié)合Apache Flume等技術(shù)實現(xiàn)了元數(shù)據(jù)采集模塊的實時元數(shù)據(jù)采集功能。而后針對天文元數(shù)據(jù)實時處理的需求,采用基于分布式流式數(shù)據(jù)處理架構(gòu)來進(jìn)行元數(shù)據(jù)處理模塊的開發(fā),設(shè)計了Storm Topology數(shù)據(jù)處理拓?fù)?將天文元數(shù)據(jù)以流的形式進(jìn)行運算,實現(xiàn)了天文元數(shù)據(jù)的實時處理。最后針對實時數(shù)據(jù)查詢的需求,結(jié)合天文元數(shù)據(jù)的數(shù)據(jù)特征,分析了現(xiàn)有天文元數(shù)據(jù)存儲方案的局限性。同時結(jié)合了Neo4j圖數(shù)據(jù)庫點邊存儲技術(shù),設(shè)計基于時空維度的天文元數(shù)據(jù)存儲模型,實現(xiàn)了對多源、異構(gòu)、海量天文元數(shù)據(jù)的存儲。系統(tǒng)功能和性能測試實驗結(jié)果表明,論文設(shè)計的實時天文元數(shù)據(jù)歸檔系統(tǒng)能夠?qū)崿F(xiàn)實時數(shù)據(jù)處理,并能存儲多源、異構(gòu)、海量的天文元數(shù)據(jù)實現(xiàn)實時數(shù)據(jù)查詢,同時系統(tǒng)的穩(wěn)定性、并發(fā)性均達(dá)到設(shè)計目標(biāo),對上層進(jìn)一步的天文學(xué)研究有重大的意義。
【圖文】：

圖 4. 7 實際環(huán)境中 Kafka 數(shù)據(jù)緩存信息Broker 集群寫入數(shù)據(jù)方案：Producer 負(fù)責(zé)為 Broker 集群推送數(shù)據(jù)，在本系roducer 由元數(shù)據(jù)采集模塊擔(dān)任。Producer 和 Broker 集群之間需要建立數(shù)據(jù)保證天文元數(shù)據(jù)的實時寫入，具體流程如下：

實際環(huán)境中Zookeeper節(jié)點信息
【學(xué)位授予單位】：重慶郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：P111

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 李建;崔辰州;何勃亮;趙永恒;曹子皇;樊東衛(wèi);李長華;諶悅;;天文數(shù)據(jù)庫回顧與展望[J];天文學(xué)進(jìn)展;2013年01期

相關(guān)博士學(xué)位論文 前1條

1 劉應(yīng)波;太陽望遠(yuǎn)鏡海量數(shù)據(jù)存儲關(guān)鍵技術(shù)研究[D];中國科學(xué)院研究生院（云南天文臺）;2014年

，

本文編號：2650497