地震監(jiān)測(cè)數(shù)據(jù)的Hadoop存儲(chǔ)解決方案
發(fā)布時(shí)間:2021-05-05 17:19
根據(jù)地震監(jiān)測(cè)數(shù)據(jù)日常存儲(chǔ)實(shí)際情況,結(jié)合目前主流的Hadoop技術(shù),提出地震監(jiān)測(cè)數(shù)據(jù)的大數(shù)據(jù)存儲(chǔ)方案,以解決數(shù)據(jù)存儲(chǔ)設(shè)備選購(gòu)常見(jiàn)問(wèn)題,并對(duì)數(shù)據(jù)存儲(chǔ)環(huán)境進(jìn)行詳細(xì)配置。以內(nèi)蒙古自治區(qū)地震局測(cè)震數(shù)據(jù)為樣本,在虛擬機(jī)上搭建偽分布集群方式,對(duì)數(shù)據(jù)進(jìn)行上傳及下載操作,以驗(yàn)證該方案的可行性。結(jié)果表明:使用Hadoop技術(shù)進(jìn)行地震監(jiān)測(cè)數(shù)據(jù)存儲(chǔ)可靠性更高,且在對(duì)歷史地震監(jiān)測(cè)數(shù)據(jù)進(jìn)行處理時(shí),分析統(tǒng)計(jì)手段更多,數(shù)據(jù)讀取速度更快。
【文章來(lái)源】:華南地震. 2020,40(03)
【文章頁(yè)數(shù)】:6 頁(yè)
【文章目錄】:
0 引言
1 關(guān)于Hadoop和大數(shù)據(jù)
1.1 Map Reduce離線計(jì)算
1.2 YARN資源調(diào)度
2 地震監(jiān)測(cè)數(shù)據(jù)存儲(chǔ)方案
2.1 監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)
2.2 大數(shù)據(jù)的數(shù)量級(jí)
2.3 物理硬件選擇
2.4 集群規(guī)劃部署
2.5 環(huán)境配置
3 可行性驗(yàn)證
3.1 監(jiān)測(cè)數(shù)據(jù)上傳測(cè)試
3.2 已上傳數(shù)據(jù)可操作性測(cè)試
4 總結(jié)
【參考文獻(xiàn)】:
期刊論文
[1]基于Hadoop的風(fēng)力發(fā)電監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)優(yōu)化及并行查詢方法[J]. 王林童,趙騰,張焰,蘇運(yùn). 電測(cè)與儀表. 2018(11)
[2]基于Hadoop的RDF數(shù)據(jù)存儲(chǔ)及查詢優(yōu)化[J]. 徐德智,劉揚(yáng),Sarfraz Ahmed. 計(jì)算機(jī)應(yīng)用研究. 2017(02)
[3]Hadoop平臺(tái)下的地震波形數(shù)據(jù)存儲(chǔ)與應(yīng)用規(guī)劃[J]. 王丹寧,柴旭超,王文青. 軟件工程. 2016(01)
[4]基于Hadoop的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J]. 王海榮,劉珂. 科技通報(bào). 2014(09)
[5]測(cè)震專業(yè)軟件評(píng)估平臺(tái)在地震行業(yè)中的應(yīng)用[J]. 章靜,林捷,楊樂(lè). 震災(zāi)防御技術(shù). 2013(03)
[6]通用測(cè)震數(shù)據(jù)獲取軟件包的設(shè)計(jì)與實(shí)現(xiàn)[J]. 周輝,申學(xué)林,王文青,馬亮,任海軍,程陳. 地震研究. 2011(01)
本文編號(hào):3170279
【文章來(lái)源】:華南地震. 2020,40(03)
【文章頁(yè)數(shù)】:6 頁(yè)
【文章目錄】:
0 引言
1 關(guān)于Hadoop和大數(shù)據(jù)
1.1 Map Reduce離線計(jì)算
1.2 YARN資源調(diào)度
2 地震監(jiān)測(cè)數(shù)據(jù)存儲(chǔ)方案
2.1 監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)
2.2 大數(shù)據(jù)的數(shù)量級(jí)
2.3 物理硬件選擇
2.4 集群規(guī)劃部署
2.5 環(huán)境配置
3 可行性驗(yàn)證
3.1 監(jiān)測(cè)數(shù)據(jù)上傳測(cè)試
3.2 已上傳數(shù)據(jù)可操作性測(cè)試
4 總結(jié)
【參考文獻(xiàn)】:
期刊論文
[1]基于Hadoop的風(fēng)力發(fā)電監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)優(yōu)化及并行查詢方法[J]. 王林童,趙騰,張焰,蘇運(yùn). 電測(cè)與儀表. 2018(11)
[2]基于Hadoop的RDF數(shù)據(jù)存儲(chǔ)及查詢優(yōu)化[J]. 徐德智,劉揚(yáng),Sarfraz Ahmed. 計(jì)算機(jī)應(yīng)用研究. 2017(02)
[3]Hadoop平臺(tái)下的地震波形數(shù)據(jù)存儲(chǔ)與應(yīng)用規(guī)劃[J]. 王丹寧,柴旭超,王文青. 軟件工程. 2016(01)
[4]基于Hadoop的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J]. 王海榮,劉珂. 科技通報(bào). 2014(09)
[5]測(cè)震專業(yè)軟件評(píng)估平臺(tái)在地震行業(yè)中的應(yīng)用[J]. 章靜,林捷,楊樂(lè). 震災(zāi)防御技術(shù). 2013(03)
[6]通用測(cè)震數(shù)據(jù)獲取軟件包的設(shè)計(jì)與實(shí)現(xiàn)[J]. 周輝,申學(xué)林,王文青,馬亮,任海軍,程陳. 地震研究. 2011(01)
本文編號(hào):3170279
本文鏈接:http://www.sikaile.net/kejilunwen/diqiudizhi/3170279.html
最近更新
教材專著