本文關鍵詞：基于Hadoop的海洋數據存儲處理系統(tǒng)，由筆耕文化傳播整理發(fā)布。

【摘要】：海洋作為一個資源寶庫,已經得到了許多國家的關注。并且隨著對海洋資源的開發(fā)與利用的不斷深入,越來越多的海洋科學數據就涌現(xiàn)出來。這些海洋數據有著自己的特點,例如：多樣,復雜,動態(tài)變化和異構等,因此需要有針對性的存儲和處理策略。但是目前對于海洋科學數據的存儲與采集都沒有形成統(tǒng)一的標準與規(guī)范。所以如何合理的存儲與管理海洋數據并且對海洋數據實現(xiàn)高效的利用已成為海洋科學研究的關鍵問題之一。傳統(tǒng)的處理大規(guī)模數據的方法也有很多,一般會通過并行計算,分布式計算,網格計算等,這些技術有著自己的局限性。它們在資源配置上面價格昂貴,并且要通過繁瑣的編程才能實現(xiàn)對計算大規(guī)模數據的有效分割和合理分配。而以Hadoop為代表的云計算,云存儲卻能很好的解決這些問題。本文在對Hadoop分布式存儲與處理技術進行研究的基礎上,在一例海洋探測系統(tǒng)開發(fā)實踐過程中,研究了Hadoop技術在海洋數據存儲和處理的應用,設計了基于Hadoop的海洋數據存儲處理系統(tǒng)架構,并對Hadoop上的海洋數據的處理進行了一定的研究。本文針對海洋數據存儲處理系統(tǒng)的建設需求,對云計算的關鍵技術：Hadoop, HBase, HDFS進行了分析和總結：在分析了海洋數據的特點總結得出了海洋數據處理的需求,并結合著用戶對系統(tǒng)的需求分析,設計出了系統(tǒng)的整體架構,實現(xiàn)了數據存儲在HDFS上的功能,并且對上傳的數據進行了優(yōu)化處理,本系統(tǒng)采用的是數據去重技術,然后利用mapreduce的key,value實現(xiàn)了對特殊格式NetCDF格式文件的讀取以及轉換成自定義的.txt格式數據的功能,接下來設計了面向列存儲的HBase數據表,實現(xiàn)了將海洋數據存儲到HBase數據庫中,最后實現(xiàn)了系統(tǒng)的前臺用戶查詢界面對數據的各種操作功能,本系統(tǒng)實現(xiàn)了根據不同的登錄用戶提供不同的操作模塊。在本文最后進行了數據壓力測試和數據檢索測試,通過數據結果證明數據存儲在Hadoop上面的可行性�；贖adoop的海洋數據的存儲與處理系統(tǒng)為云技術處理海洋數據提供了一種可行的解決方案,可以有效的存儲和處理海量的海洋科學數據。

  本文關鍵詞：基于Hadoop的海洋數據存儲處理系統(tǒng)，由筆耕文化傳播整理發(fā)布。