發(fā)布時間：2018-01-02 23:07

  本文關鍵詞：基于Spark框架的乘潮水位計算與可視化平臺　出處：《計算機工程與科學》2015年12期 　論文類型：期刊論文

  更多相關文章： Spark 乘潮水位 任務調度算法 并行處理 海洋環(huán)境信息

【摘要】：乘潮水位計算是海洋環(huán)境信息處理的重要組成部分,具有計算量大、計算復雜度高、計算時間長等特性。采用傳統(tǒng)集群計算模式實現(xiàn)乘潮水位計算業(yè)務,存在計算成本高、計算伸縮性和交互性差的問題。針對以上問題,提出一種基于Spark框架的乘潮水位計算和可視化平臺。結合對Spark任務調度算法的研究,設計和實現(xiàn)了一種基于節(jié)點計算能力的任務調度算法,實現(xiàn)了長時間序列的多任務乘潮水位數(shù)據的檢索、獲取、數(shù)值計算、特征可視化的并行處理,達到了海量海洋環(huán)境數(shù)據計算和可視化處理的目的。實驗結果表明,提出的基于Spark的乘潮水位計算和可視化平臺可以有效地提高海量乘潮水位數(shù)據的分布式并行處理的效率,為更加快速和高效的乘潮水位計算提供了一種新的方法。
[Abstract]:Tidal water level meter is an important part of marine environmental information processing. It has the characteristics of large amount of calculation, high computational complexity and long calculation time. The traditional cluster computing mode is used to realize the operation of tidal level calculation. There are the problems of high computing cost, poor scalability and interactivity. This paper presents a platform for tidal level calculation and visualization based on Spark framework. Based on the research of Spark task scheduling algorithm, a task scheduling algorithm based on node computing ability is designed and implemented. The parallel processing of multi-task tidal level data retrieval, acquisition, numerical calculation and feature visualization of long time series is realized. The purpose of calculating and visualizing the massive marine environment data is achieved. The experimental results show that. The proposed platform for tidal level calculation and visualization based on Spark can effectively improve the efficiency of distributed parallel processing of mass tidal level data. A new method is provided for faster and more efficient calculation of tidal level.
【作者單位】： 中國海洋大學信息科學與工程學院;國家海洋信息中心;
【基金】：海洋公益性行業(yè)科研專項經費資助項目(201105033)
【分類號】：P731.23;TP338.8
【正文快照】： 1引言隨著海洋經濟和海洋開發(fā)在社會發(fā)展中的作用越來越大,海洋科學技術更加受到重視,數(shù)字海洋[1]項目的立項和實施,是我國海洋事業(yè)發(fā)展的一個重要體現(xiàn)。計算機技術的飛速發(fā)展在不斷改變著海洋環(huán)境信息業(yè)務化處理的方法,各種新技術和新方法被應用到海洋信息的處理當中來。在十

【相似文獻】

相關期刊論文 前1條

1 張錦文;一種乘潮水位統(tǒng)計方法[J];海洋通報;1984年04期

，

本文編號：1371310