本文關鍵詞： 海洋大數據 數據建模 數據索引 數據劃分　出處：《上海海洋大學》2016年碩士論文　論文類型：學位論文

【摘要】：近年來,隨著信息技術的不斷更新,尤其是信息獲取技術、互聯(lián)網、物聯(lián)網以及社交網絡等技術的突飛猛進,導致了各行業(yè)數據量的急劇增長,企業(yè)及互聯(lián)網數據以每年50%的速率在增長,據保守估計,目前每年全球至少產生15億TB的新數據,行業(yè)大數據已經成為目前研究的熱點。海洋發(fā)展戰(zhàn)略在國家戰(zhàn)略的地位日益突顯,海洋領域的各類應用對推動海洋信息化發(fā)展具有重大的意義。海洋環(huán)境監(jiān)測手段及設備的多樣化和廣布局,包括:浮標、衛(wèi)星、遙感、傳感器、監(jiān)測站等實時數據源采集不僅造成了數據量的密集增長,同時數據呈現(xiàn)出異構性、海量性、多樣性、實時性、相似性等特征,因此海洋數據無疑成為大數據的典范。針對該領域數據特征,深入分析數據模式,研究高效的數據存儲、劃分及查詢策略是目前亟須解決的海洋應用問題。海洋數據的異構、多樣、復雜等特征,使得數據的存儲模式脫離關系型結構,給數據的快速查詢和高效利用造成了應用難題,帶來了如下問題:如何無需手動調整低層次的視覺及內容細節(jié),以完成表格數據的合理劃分及關系轉換,從而實現(xiàn)給定領域內其結構化存儲。海洋數據的海量性、相似性及空間相關性等特征,給海洋應用(如極地在線考察、怪潮災害反演)上的數據快速獲取和查詢造成了巨大的壁壘,帶來了如下問題:1)如何對數據計算節(jié)點進行動態(tài)劃分,以適應海洋應用高性能計算、強實時反饋、高頻度查詢等需求;2)如何建立面向海洋領域的多層索引結構,從而滿足多源數據實時查詢響應需求,加快了海洋數字化和信息化進程。為此,本文分別提出了全局劃分和局部劃分策略,在此基礎上實現(xiàn)了主從索引機制,從而提高數據的利用率及海洋應用的查詢效率。深入學習海洋數據特征,以數據為樣本研究分布式存儲及索引技術是解決目前應用壁壘的有效途徑。針對上述問題,本章節(jié)從如下技術路線來優(yōu)化數據的存儲和查詢問題:數據建模、數據劃分及索引結構,其主要創(chuàng)新及研究內容描述如下:1、對海洋數據存儲及表示形式進行描述,面向excel、csv等不具有明確結構的特殊非結構化數據,提出了一種新的基于tabular庫的關系數據模型并討論了其上的查詢及優(yōu)化問題。本文利用partipath劃分樹,保留表格的語義信息,對表格的關系劃分及結構轉換,形成數據模式。在此技術上定義了表單數據上的基本查詢問題及融合用戶興趣指數改進查詢相似度指標,以滿足特定查詢需求。2、針對數據存儲中的關鍵問題——數據劃分,本文首先通過訓練采集數據獲取數據的特征及內部規(guī)律,根據其空間自相關性及分布特征等,制定基于amsp的全局劃分策略,將符合特征描述的數據轉移到各分布式結點上。其次以需求為導向和用戶行為為基礎,制定基于amsp的自適應局部劃分策略,該策略能及時轉移局部數據,保證存儲節(jié)點的深度一致及平衡�；赼dmd和amsp的劃分模式,設計多層索引結構能顯著提高數據的利用率及數據池的訪問效率。3、在上述數據劃分的基礎上,本文提出一種主從索引架構體系,基于AMDM的時間間隔B+-tree索引作為全局索引;基于AMSP的L-RR*樹作為局部索引。在此基礎上查詢處理研究主要分為兩個步驟:首先,查詢接收器通過時態(tài)主索引找到所有與之相關的節(jié)點,并建立查詢鏈接。第二步,執(zhí)行并行化的局部索引搜索模式,并最終的信息返回到客戶端。對比實驗驗證,本文結合實際應用場景論證了該技術架構的合理性,該結構滿足了大批量多源數據實時查詢響應及查詢服務并行運算處理的需求。
[Abstract]:In recent years , with the continuous updating of information technology , especially the technology of information acquisition , Internet , Internet of Things and social networks , the rapid growth of data in various industries has led to the rapid growth of data in various industries . This paper proposes a new method based on amsp , which can improve the utilization rate of data and query efficiency of data pool .

【學位授予單位】：上海海洋大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：P717;TP311.13

【相似文獻】

相關期刊論文 前10條

1 胡松林,王一凡;運用實體——聯(lián)系模型數據建模[J];湖北師范學院學報(自然科學版);2000年02期

2 張文勝,馬麟,李建國;基于圖像的虛擬現(xiàn)實空間數據建模方法[J];城市勘測;2005年01期

3 高寧寧;;基于Excel的數據建模挖掘[J];中央民族大學學報(自然科學版);2008年01期

4 劉超;吳喜之;;傳統(tǒng)統(tǒng)計面對的挑戰(zhàn)[J];統(tǒng)計與信息論壇;2011年12期

5 楊球,朱崇軍;運用語義對象模型進行數據建模[J];湖北師范學院學報(自然科學版);1999年01期

6 傅學芳;基于GP/GA的數據建模方法[J];數理統(tǒng)計與管理;2001年04期

7 王雁苓;孫利;郭新辰;呂學實;;應用字典數據建模[J];吉林大學學報(理學版);2013年02期

8 張春明,孫豁然,王恩德,趙志剛,范鐵生;礦產資源信息系統(tǒng)空間屬性數據建模方法[J];金屬礦山;2005年06期

9 葛偉鵬;袁道陽;郭華;;對城市活斷層探測項目中地震地質數據建模的探討[J];西北地震學報;2006年02期

10 邢泉;;基于TableDesigner的語義對象數據建模[J];大眾科技;2009年01期

相關會議論文 前4條

1 邵信光;楊慧中;石晨曦;;ε不敏感支持向量回歸在化工數據建模中的應用[A];江蘇省自動化學會七屆四次理事會暨2004學術年會青年學者論壇論文集[C];2004年

2 申曉留;張廣月;;配電GIS數據建模的應用和研究[A];2006電力系統(tǒng)自動化學術交流研討大會論文集[C];2006年

3 屈詠梅;殷伯明;;LH小學學業(yè)進步GM(1,1)四數據建模與未來預測[A];第19屆灰色系統(tǒng)全國會議論文集[C];2010年

4 張亮;熊泳;張杭;;SCADA軟件中的數據建模[A];第五屆全國智能化電器及應用研討會會議論文集[C];2001年

相關博士學位論文 前4條

1 劉向陽;多流形數據建模及其應用[D];上海交通大學;2011年

2 呂曉艷;基于決策樹的數據建模分析方法及其在鐵路中的應用研究[D];中國鐵道科學研究院;2007年

3 高建;水下SAS數據建模及干涉測量關鍵技術研究[D];武漢大學;2012年

4 孫進;非完備幾何特征測量數據建模及其在顏面缺損修復中的應用研究[D];上海交通大學;2012年

相關碩士學位論文 前10條

1 孫樂;海洋環(huán)境監(jiān)測數據建模及索引技術研究[D];上海海洋大學;2016年

2 柳紀勝;路由器通用平臺中的數據建模工具部分模塊的設計與實現(xiàn)[D];南京大學;2012年

3 劉城成;時間序列數據建模與存儲研究[D];華中科技大學;2007年

4 劉英;地理系信息系統(tǒng)中時空數據建模及面向對象數據模型的研究[D];山東科技大學;2003年

5 單彬;地質時空維數據建模技術及在油藏開發(fā)中的應用研究[D];東北石油大學;2012年

6 洪駿;基于產品數據建模的PLM系統(tǒng)的研究及應用[D];上海交通大學;2012年

7 馬春娜;面向MPM的制造數據建模與工藝程序優(yōu)化研究[D];山東大學;2008年

8 吳英炳;快速開發(fā)平臺數據建模的研究[D];天津大學;2006年

9 魏星雷;基于元數據的數據建模與集成技術研究與應用[D];山東大學;2015年

10 丁鑫同;多源探測數據建模及信息處理研究[D];北京理工大學;2015年

，

本文編號：1499512