發(fā)布時間：2021-09-04 23:29

　　為解決傳統(tǒng)數(shù)據(jù)管理平臺難以快速、全面地對河流系統(tǒng)進(jìn)行管理決策的問題,應(yīng)用大數(shù)據(jù)技術(shù)構(gòu)建河流大數(shù)據(jù)平臺具有重要意義。從河流大數(shù)據(jù)的概念、河流大數(shù)據(jù)平臺的架構(gòu)以及河流大數(shù)據(jù)平臺的實(shí)現(xiàn)3個方面對河流大數(shù)據(jù)平臺進(jìn)行了探討,提出了構(gòu)建以Hadoop為基礎(chǔ)架構(gòu),以信息集成模型、河流健康診斷模型、河流風(fēng)險預(yù)警模型、決策支持模型為驅(qū)動,以河流大數(shù)據(jù)為支撐的河流大數(shù)據(jù)決策支持平臺,實(shí)現(xiàn)河流健康的診斷與風(fēng)險預(yù)警,為河長制中河流系統(tǒng)的信息化高效管理提供新的思路。 

【文章來源】：人民黃河. 2020,42(07)北大核心

【文章頁數(shù)】：5 頁

【部分圖文】：

平臺總體架構(gòu)

中小河流健康診斷與預(yù)警大數(shù)據(jù)平臺主要包括河流數(shù)據(jù)管理、模型庫管理、河流健康診斷、河流風(fēng)險預(yù)警、決策支持管理和個人信息管理等6個功能模塊,功能結(jié)構(gòu)見圖2。3 平臺關(guān)鍵層設(shè)計(jì)方法

河流大數(shù)據(jù)從存儲方式上可以分為結(jié)構(gòu)化存儲、非結(jié)構(gòu)化存儲與元數(shù)據(jù)存儲。結(jié)構(gòu)化數(shù)據(jù),即可以用二維表結(jié)構(gòu)來邏輯表達(dá)和實(shí)現(xiàn)的數(shù)據(jù),包括河流系統(tǒng)水質(zhì)、土壤、氣候等各類指標(biāo),嚴(yán)格遵循數(shù)據(jù)格式與長度規(guī)范存儲于分布式文件系統(tǒng)(HDFS)中;難以用二維表結(jié)構(gòu)表達(dá)和實(shí)現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù),包括各種格式的文本、圖像、視頻、音頻等,轉(zhuǎn)化為字節(jié)數(shù)組字符串以及Base64編碼,存儲于面向列的非關(guān)系型數(shù)據(jù)庫(Hbase)中;河流大數(shù)據(jù)通過加工與集成構(gòu)成面向河流系統(tǒng)的數(shù)據(jù)倉庫,基于不同用戶的不同功能需求,形成服務(wù)于固定需求的多個數(shù)據(jù)集市。所有數(shù)據(jù)的名稱、存儲位置、提取轉(zhuǎn)換加載(ETL)過程等共同構(gòu)成了河流大數(shù)據(jù)平臺的元數(shù)據(jù)庫(Metadata Base),元數(shù)據(jù)庫將數(shù)據(jù)編寫成網(wǎng)絡(luò)服務(wù)描述語言(WSDL)與外界客戶端數(shù)據(jù)交換互通。河流大數(shù)據(jù)存儲結(jié)構(gòu)見圖3。3.1.2 大數(shù)據(jù)的篩選與清洗

【參考文獻(xiàn)】：
期刊論文
[1]水利工程灌漿大數(shù)據(jù)平臺設(shè)計(jì)與實(shí)現(xiàn)[J]. 饒小康.  長江科學(xué)院院報. 2019(06)
[2]基于云模型和風(fēng)險矩陣的自然災(zāi)害風(fēng)險評價[J]. 洪成,王桂生,周家貴,徐艷.  人民黃河. 2019(06)
[3]基于新一代大數(shù)據(jù)處理引擎Flink的“智慧滁河”系統(tǒng)[J]. 葉楓,張鵬,夏潤亮,顧和生,陳勇.  水資源保護(hù). 2019(02)
[4]山丘區(qū)中小河流灘地時空演化與擾動因子分析[J]. 王金平,夏繼紅,汪穎俊,竇傳彬,周之悅,葉繼兵,劉瀚.  中國農(nóng)村水利水電. 2018(12)
[5]基于任務(wù)合并的并行大數(shù)據(jù)清洗過程優(yōu)化[J]. 楊東華,李寧寧,王宏志,李建中,高宏.  計(jì)算機(jī)學(xué)報. 2016(01)
[6]大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J]. 孟小峰,慈祥.  計(jì)算機(jī)研究與發(fā)展. 2013(01)
[7]河流健康診斷系統(tǒng)的設(shè)計(jì)與應(yīng)用[J]. 林俊強(qiáng),夏繼紅,韓玉玲,胡玲,羅帷,蒲前超.  河海大學(xué)學(xué)報(自然科學(xué)版). 2009(06)

博士論文
[1]基于大數(shù)據(jù)決策支持的城市健康水系統(tǒng)平臺構(gòu)建及應(yīng)用[D]. 李家杰.重慶大學(xué) 2016



本文編號：3384211