本文選題：海洋監(jiān)測(cè)數(shù)據(jù)　切入點(diǎn)：強(qiáng)關(guān)聯(lián)矩陣　出處：《上海海洋大學(xué)》2017年碩士論文　論文類(lèi)型：學(xué)位論文

【摘要】：隨著全方位海洋立體監(jiān)測(cè)網(wǎng)的建立和“數(shù)字海洋”示范效應(yīng)的擴(kuò)大,海洋監(jiān)測(cè)數(shù)據(jù)呈爆炸式增長(zhǎng)。面對(duì)具有強(qiáng)數(shù)據(jù)關(guān)聯(lián)性、多學(xué)科交叉性、海洋數(shù)據(jù)獲取手段復(fù)雜化和種類(lèi)多樣化等特性的海洋監(jiān)測(cè)大數(shù)據(jù),如何能夠快速、有效地找到所需的數(shù)據(jù)是海洋研究人員對(duì)于監(jiān)測(cè)數(shù)據(jù)管理的重要需求之一。為了能夠更好地組織和管理海洋監(jiān)測(cè)大數(shù)據(jù),對(duì)于數(shù)據(jù)的布局策略應(yīng)運(yùn)而生,并逐步成為制約數(shù)據(jù)有效管理和應(yīng)用的關(guān)鍵問(wèn)題之一。海洋監(jiān)測(cè)數(shù)據(jù)的海量性、強(qiáng)關(guān)聯(lián)性及實(shí)時(shí)更新等特征,給海洋應(yīng)用(如極地在線考察、怪潮災(zāi)害反演、海洋輔助決策)上的數(shù)據(jù)快速存儲(chǔ)和查詢(xún)?cè)斐闪司薮蟮谋趬?帶來(lái)了如下問(wèn)題:1)如何對(duì)關(guān)聯(lián)緊密的數(shù)據(jù)進(jìn)行靜態(tài)布局,以適應(yīng)海洋應(yīng)用高性能計(jì)算、高頻度查詢(xún)等需求;2)如何對(duì)實(shí)時(shí)更新、快速增長(zhǎng)的海洋數(shù)據(jù)進(jìn)行動(dòng)態(tài)布局,從而降低訓(xùn)練時(shí)間的開(kāi)銷(xiāo)和用戶(hù)訪問(wèn)數(shù)據(jù)的響應(yīng)時(shí)間;3)如何使用合理的副本布局策略,以保證數(shù)據(jù)的可靠性和安全性,并在一定程度上提高數(shù)據(jù)的響應(yīng)速度。為此,本文分別提出了靜態(tài)數(shù)據(jù)布局策略、動(dòng)態(tài)數(shù)據(jù)布局策略和數(shù)據(jù)副本布局策略,提高了數(shù)據(jù)的利用率及海洋應(yīng)用的查詢(xún)效率。本文以具有強(qiáng)數(shù)據(jù)關(guān)聯(lián)性、地理區(qū)域性、監(jiān)測(cè)實(shí)時(shí)性等特點(diǎn)的海洋監(jiān)測(cè)大數(shù)據(jù)作為研究對(duì)象,以數(shù)據(jù)的高效布局作為目標(biāo)。研究面向海洋數(shù)據(jù)的布局管理方法,其主要內(nèi)容包括以下四方面:(1)總結(jié)了海洋數(shù)據(jù)管理的研究現(xiàn)狀及關(guān)鍵問(wèn)題,并通過(guò)分析數(shù)據(jù)布局的結(jié)構(gòu)和功能機(jī)理,指出海洋監(jiān)測(cè)數(shù)據(jù)特性對(duì)于數(shù)據(jù)布局的影響,從而提出了海洋監(jiān)測(cè)數(shù)據(jù)的定義和符號(hào)化表示,為數(shù)據(jù)布局在海洋數(shù)據(jù)管理中的應(yīng)用打好基礎(chǔ)。(2)針對(duì)海洋監(jiān)測(cè)數(shù)據(jù)具有海量、異構(gòu)、強(qiáng)關(guān)聯(lián)的特點(diǎn),提出了基于關(guān)聯(lián)度的靜態(tài)布局策略。首先通過(guò)分析數(shù)據(jù)的特性確定了適合海洋監(jiān)測(cè)大數(shù)據(jù)的云計(jì)算存儲(chǔ)模式;然后綜合考慮監(jiān)測(cè)任務(wù)、監(jiān)測(cè)點(diǎn)和監(jiān)測(cè)數(shù)據(jù)之間的關(guān)聯(lián),建立海洋監(jiān)測(cè)點(diǎn)間的關(guān)聯(lián)度、監(jiān)測(cè)數(shù)據(jù)間的關(guān)聯(lián)度和監(jiān)測(cè)數(shù)據(jù)全局關(guān)聯(lián)度;最后從三個(gè)角度對(duì)海洋監(jiān)測(cè)數(shù)據(jù)進(jìn)行有效地布局。這不僅滿足了海洋監(jiān)測(cè)大數(shù)據(jù)的存儲(chǔ)管理要求,同時(shí),將具有較高關(guān)聯(lián)度的數(shù)據(jù)存放至同一數(shù)據(jù)中心內(nèi),取得了較好的布局效果。(3)針對(duì)海洋監(jiān)測(cè)數(shù)據(jù)動(dòng)態(tài)實(shí)時(shí)更新、變化大的問(wèn)題,提出了基于增量學(xué)習(xí)的動(dòng)態(tài)數(shù)據(jù)布局策略。根據(jù)對(duì)海洋監(jiān)測(cè)數(shù)據(jù)價(jià)值的形式化定義,將數(shù)據(jù)存儲(chǔ)區(qū)分為活躍區(qū)和非活躍區(qū)。同時(shí),采用增量學(xué)習(xí)方法,根據(jù)已經(jīng)獲得的知識(shí)對(duì)數(shù)據(jù)的增量部分進(jìn)行學(xué)習(xí),而不是對(duì)數(shù)據(jù)增量后的整體數(shù)據(jù)庫(kù)進(jìn)行重新建模,有效地壓縮了樣本集的大小,并舍棄了無(wú)用樣本。實(shí)驗(yàn)結(jié)果表明,數(shù)據(jù)的布局效果良好。(4)針對(duì)系統(tǒng)存儲(chǔ)空間利用率和存取的數(shù)據(jù)保護(hù)問(wèn)題,提出了基于多屬性最優(yōu)化的數(shù)據(jù)副本布局策略。該策略在動(dòng)態(tài)布局策略的基礎(chǔ)上,首先增加了對(duì)數(shù)據(jù)副本熱度的定義,然后根據(jù)數(shù)據(jù)的熱度值,建立了數(shù)據(jù)副本的更新方法。同時(shí),分析了存儲(chǔ)節(jié)點(diǎn)的影響因素,采用多屬性最優(yōu)化方法對(duì)影響存儲(chǔ)節(jié)點(diǎn)的關(guān)鍵屬性進(jìn)行決策分析,找到與各個(gè)屬性最優(yōu)的節(jié)點(diǎn)進(jìn)行數(shù)據(jù)副本布局。實(shí)驗(yàn)結(jié)果表明,該策略有效地對(duì)數(shù)據(jù)副本進(jìn)行管理和布局。
[Abstract]:......
【學(xué)位授予單位】：上海海洋大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：P717;TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃冬梅;隨宏運(yùn);賀琪;趙丹楓;杜艷玲;蘇誠(chéng);;強(qiáng)關(guān)聯(lián)海洋數(shù)據(jù)劃分研究[J];計(jì)算機(jī)工程;2016年05期

2 肖中正;陳寧江;賈炅昊;張文博;;一種基于文件支持度的動(dòng)態(tài)副本管理機(jī)制[J];計(jì)算機(jī)研究與發(fā)展;2016年02期

3 XU Zhenhuan;LIU Ying;LI Yuguo;;Effects of Uncertainties in the Position and Orientation of Both the Transmitter and Receivers on Marine Controlled-Source Electromagnetic Data[J];Journal of Ocean University of China;2016年01期

4 黃冬梅;孫樂(lè);石少華;蘇誠(chéng);趙丹楓;;面向Tabular庫(kù)的數(shù)據(jù)模型及其查詢(xún)問(wèn)題[J];中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào);2016年01期

5 林偉偉;吳文泰;;面向云計(jì)算環(huán)境的能耗測(cè)量和管理方法[J];軟件學(xué)報(bào);2016年04期

6 孫耀;劉杰;葉丹;鐘華;;分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)的負(fù)載均衡框架[J];軟件學(xué)報(bào);2016年12期

7 廖彬;張?zhí)?于炯;劉繼;鐘磊;劉炎;;適應(yīng)節(jié)能與異構(gòu)環(huán)境的MapReduce數(shù)據(jù)布局策略[J];中山大學(xué)學(xué)報(bào)(自然科學(xué)版);2015年06期

8 孫記紅;蘇國(guó)輝;楊辰;何書(shū)鋒;;面向業(yè)務(wù)的海洋地質(zhì)數(shù)據(jù)服務(wù)平臺(tái)構(gòu)建方法[J];國(guó)土資源遙感;2015年02期

9 邢玉軒;肖儂;劉芳;付印金;李芳;巫小泉;;一種基于歷史信息的一致性Hash集群重復(fù)數(shù)據(jù)刪除路由策略[J];計(jì)算機(jī)研究與發(fā)展;2014年S2期

10 楊洪章;張軍偉;劉振軍;張建剛;;Readdir++:一種并行網(wǎng)絡(luò)文件系統(tǒng)中海量小文件讀優(yōu)化技術(shù)[J];小型微型計(jì)算機(jī)系統(tǒng);2014年11期

相關(guān)碩士學(xué)位論文 前1條

1 張凱;基于GPU-hadoop的海洋環(huán)境信息可視化并行計(jì)算框架研究與實(shí)現(xiàn)[D];中國(guó)海洋大學(xué);2014年

，

本文編號(hào)：1607534