隨著我國政府開放數(shù)據(jù)的逐步展開以及水資源共享機(jī)制和平臺的不斷完善,越來越多的水利數(shù)據(jù)公開在各地政府門戶網(wǎng)站上,數(shù)據(jù)的大量累計使得對開放數(shù)據(jù)的獲取與應(yīng)用成為了新的熱點。本文首先研究了開放數(shù)據(jù)的獲取方祛,然后編寫程序清洗上一步獲得的數(shù)據(jù),接著以獲取并清洗后的東大橋測站水位數(shù)據(jù)為例,建立水位預(yù)測模型,作為下一步水情預(yù)警的核心模塊之一,最后基于知識可視化綜合集成平臺,將大數(shù)據(jù)服務(wù)應(yīng)用于防汛決策,設(shè)計和實現(xiàn)了防汛決策支持系統(tǒng),具體工作如下:（1）對于政府網(wǎng)站上公開的水利數(shù)據(jù),使用爬蟲技術(shù)以及數(shù)據(jù)庫技術(shù)。能夠訊速獲取具有較高時效性的近期數(shù)據(jù),以及大量歷史數(shù)據(jù),相比于人工錄入,以大大提高數(shù)據(jù)獲取的效率。（2）通過對所獲取數(shù)據(jù)進(jìn)行重復(fù)值、錯誤值、異常值以及缺失值的清洗,可以得到里高質(zhì)量的水情數(shù)據(jù),間接提高了后面模型的預(yù)測精度,并且數(shù)據(jù)清洗程序具有較高的復(fù)用性,可以方便地應(yīng)用于不同數(shù)擬集。（3）建立ARIMA水位預(yù)測模型,由模型的預(yù)測結(jié)果來看,預(yù)測水位和相差不大,預(yù)測效果較好,說明本模型適用于媯水河?xùn)|大橋測站水位預(yù)測。（4）基于知識可視化綜合集成平臺,,將數(shù)據(jù)采集、數(shù)據(jù)清洗以及模型預(yù)測這一套大數(shù)據(jù)服務(wù)流... 

【文章頁數(shù)】：68 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
1 緒論
    1.1 研究目的及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 關(guān)于數(shù)據(jù)開放與獲取的研究
        1.2.2 數(shù)據(jù)清洗的研究
        1.2.3 大數(shù)據(jù)服務(wù)在水利行業(yè)中的應(yīng)用
    1.3 研究的主要內(nèi)容
    1.4 技術(shù)路線
2 水利數(shù)據(jù)獲取研究
    2.1 數(shù)據(jù)源分析
    2.2 基于網(wǎng)絡(luò)爬蟲的數(shù)據(jù)獲取
        2.2.1 爬蟲結(jié)構(gòu)與工作原理
        2.2.2 爬蟲分類
        2.2.3 網(wǎng)絡(luò)爬蟲軟件概述
    2.3 水利數(shù)據(jù)獲取實例
        2.3.1 數(shù)據(jù)源
        2.3.2 數(shù)據(jù)獲取
3 水利數(shù)據(jù)清洗方法研究及實現(xiàn)
    3.1 數(shù)據(jù)清洗的必要性
    3.2 數(shù)據(jù)清洗方法研究思路
    3.3 數(shù)據(jù)清洗方法的確立
        3.3.1 對重復(fù)值的清洗
        3.3.2 對錯誤值的清洗
        3.3.3 對異常值的清洗
        3.3.4 對缺失值的清洗
        3.3.5 小結(jié)
    3.4 數(shù)據(jù)清洗實例
        3.4.1 重復(fù)值的處理
        3.4.2 錯誤值的處理
        3.4.3 異常值的處理
        3.4.4 缺失值的處理
4 ARIMA水位預(yù)測模型建立及實例應(yīng)用
    4.1 水位預(yù)測模型選擇
    4.2 建立ARIMA模型的步驟
    4.3 建立ARIMA水位預(yù)測模型實例
        4.3.1 數(shù)據(jù)平穩(wěn)性檢驗
        4.3.2 模型參數(shù)參數(shù)確定
        4.3.3 模型預(yù)測
5 防汛決策中的大數(shù)據(jù)服務(wù)
    5.1 水位預(yù)測系統(tǒng)設(shè)計
        5.1.1 系統(tǒng)功能結(jié)構(gòu)
        5.1.2 關(guān)鍵技術(shù)支持
        5.1.3 核心模塊設(shè)計
    5.2 系統(tǒng)核心模塊的實現(xiàn)
        5.2.1 防汛決策基本信息整合
        5.2.2 水情預(yù)警及結(jié)果
        5.2.3 歷史水情統(tǒng)計分析
6 結(jié)論與展望
    6.1 結(jié)論
    6.2 展望
致謝
參考文獻(xiàn)
附錄
    附錄A 碩士研究生期間參與的科研項目
    附錄B 碩士研究生期間取得的成果
    附錄C 獲獎情況



本文編號：3670563