目前,我國極地科考業(yè)務(wù)已經(jīng)累積了約20年的冰區(qū)航行數(shù)據(jù),可為下一步極地考察船的智能化航行提供數(shù)據(jù)支撐。然而,海量數(shù)據(jù)對(duì)于現(xiàn)有的傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)來說,已經(jīng)遠(yuǎn)超出其存儲(chǔ)及查詢分析處理能力。數(shù)據(jù)向分布式大數(shù)據(jù)處理平臺(tái)的遷移及部署對(duì)于冰區(qū)航行來說已成為一種必要的大數(shù)據(jù)解決方案。文章聚焦研究面向大數(shù)據(jù)平臺(tái)的遷移平臺(tái)和數(shù)據(jù)融合過程,實(shí)現(xiàn)多源異構(gòu)歷史數(shù)據(jù)的抽取、轉(zhuǎn)換,為分析應(yīng)用等功能提供數(shù)據(jù)。結(jié)合遷移后的數(shù)據(jù),提出一種基于Adaptive-Lasso算法和神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)融合算法,用于分析預(yù)測(cè)雪龍?zhí)柨疾齑杉陌l(fā)電機(jī)油耗數(shù)據(jù)與天氣數(shù)據(jù)之間的關(guān)系,并進(jìn)行了仿真驗(yàn)證,為船舶智能航行提供了理論支撐。 

【文章來源】：中國高新科技. 2020,(12)

【文章頁數(shù)】：9 頁

【部分圖文】：

極地大數(shù)據(jù)平臺(tái)的整體架構(gòu)

數(shù)據(jù)治理部分包含極地航行數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)目標(biāo)和方案以及對(duì)數(shù)據(jù)源質(zhì)量、標(biāo)準(zhǔn)化程度的分析方案。數(shù)據(jù)治理建設(shè)，首先需要制定統(tǒng)一的極地航行業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范、外部數(shù)據(jù)采集接入方式和標(biāo)準(zhǔn)接口規(guī)范、數(shù)據(jù)更新和發(fā)布流程規(guī)范，監(jiān)督管理各項(xiàng)規(guī)范和流程的實(shí)施與執(zhí)行�；跈C(jī)器學(xué)習(xí)算法實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量和數(shù)據(jù)標(biāo)準(zhǔn)化程度的分析，通過對(duì)數(shù)據(jù)完整性、規(guī)范性、一致性、準(zhǔn)確性、唯一性和關(guān)聯(lián)性分析模塊的訓(xùn)練建模，實(shí)現(xiàn)對(duì)數(shù)據(jù)源的數(shù)據(jù)格式、數(shù)據(jù)長(zhǎng)度、允許值、數(shù)據(jù)關(guān)聯(lián)等的數(shù)據(jù)質(zhì)量情況的分析，同時(shí)通過對(duì)數(shù)據(jù)標(biāo)準(zhǔn)化分析模塊的訓(xùn)練建模實(shí)現(xiàn)對(duì)現(xiàn)有基礎(chǔ)數(shù)據(jù)（含基礎(chǔ)代碼、數(shù)據(jù)應(yīng)用字典等）和數(shù)據(jù)項(xiàng)、數(shù)據(jù)表的標(biāo)準(zhǔn)化程度分析。圖2是冰區(qū)航行大數(shù)據(jù)遷移平臺(tái)的數(shù)據(jù)治理方案示意圖。(1）數(shù)據(jù)匯聚，完成數(shù)據(jù)匯聚到該大數(shù)據(jù)平臺(tái)。

數(shù)據(jù)融遷移流程

【參考文獻(xiàn)】：
期刊論文
[1]跨平臺(tái)信息系統(tǒng)數(shù)據(jù)遷移技術(shù)研究與實(shí)現(xiàn)[J]. 李靜,馬超,黃鏡宇,盧艷艷.  電氣技術(shù). 2019(10)
[2]“雪龍2”號(hào)極地科考破冰船交付使用[J].   船舶工程. 2019(S2)
[3]基于Kettle的數(shù)據(jù)交換平臺(tái)研究與實(shí)踐[J]. 程子傲,董博,趙悅,王丹華,孟博.  遼寧大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(01)
[4]面向超媒體鏈接的RESTful服務(wù)隱私建模方法[J]. 王進(jìn),黃志球.  計(jì)算機(jī)研究與發(fā)展. 2017(04)
[5]基于Adaptive Lasso及RF算法的冰雪天氣交通事故分析[J]. 趙瑋,徐良杰,冉斌,汪濟(jì)洲,張璇.  中國安全科學(xué)學(xué)報(bào). 2017(02)
[6]基于Shark/Spark的分布式空間數(shù)據(jù)分析框架[J]. 溫馨,羅侃,陳榮國.  地球信息科學(xué)學(xué)報(bào). 2015(04)
[7]一種能效優(yōu)化的MapReduce資源比模型[J]. 宋杰,劉雪冰,朱志良,李甜甜,趙大哲,于戈.  計(jì)算機(jī)學(xué)報(bào). 2015(01)
[8]基于卡爾曼濾波的風(fēng)速序列短期預(yù)測(cè)方法[J]. 修春波,任曉,李艷晴,劉明鳳.  電工技術(shù)學(xué)報(bào). 2014(02)
[9]基于MapReduce的Hadoop大表導(dǎo)入編程模型[J]. 陳吉榮,樂嘉錦.  計(jì)算機(jī)應(yīng)用. 2013(09)



本文編號(hào)：3625175