本文關(guān)鍵詞：基于多結(jié)構(gòu)數(shù)據(jù)挖掘的滑坡災(zāi)害預(yù)測模型研究　出處：《中國地質(zhì)大學(xué)》2016年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 數(shù)據(jù)挖掘 滑坡 云計算 非關(guān)系型數(shù)據(jù)庫 三峽庫區(qū)

【摘要】：隨著社會經(jīng)濟的大規(guī)模發(fā)展,人類活動領(lǐng)域的逐漸擴展,滑坡事故發(fā)生的頻率和強度均呈增長之勢,所造成的人員傷亡和經(jīng)濟損失也在逐步加大。長江三峽庫區(qū)地質(zhì)條件復(fù)雜,隨著各類工程項目的進一步擴大實施,導(dǎo)致人類工程活動越發(fā)頻繁,對庫區(qū)周邊地質(zhì)環(huán)境的影響頗深,直接或間接導(dǎo)致了已有滑坡的復(fù)發(fā)和新生型滑坡的產(chǎn)生,但國內(nèi)現(xiàn)有的經(jīng)濟前提條件和人力成本并無法對所有存在危險的滑坡逐一治理。因此,基于數(shù)據(jù)挖掘技術(shù)的滑坡時空預(yù)測模型研究具有更現(xiàn)實的意義,是實現(xiàn)庫區(qū)防災(zāi)減災(zāi)戰(zhàn)略及水庫安全運營的迫切需求。論文系統(tǒng)總結(jié)了滑坡時間與空間預(yù)測模型特點、多結(jié)構(gòu)數(shù)據(jù)挖掘方法及分布式數(shù)據(jù)系統(tǒng)平臺建設(shè)等方面的國內(nèi)外研究現(xiàn)狀及存在問題。在前人研究的基礎(chǔ)之上,以滑坡災(zāi)害頻發(fā)及人類工程活動頻繁的三峽庫區(qū)秭歸到巴東段為研究區(qū),采用NoSQL結(jié)構(gòu)體系構(gòu)建滑坡多結(jié)構(gòu)數(shù)據(jù)庫,建立分布式存儲與共享機制。以滑坡時空預(yù)測模型分析及穩(wěn)定性判據(jù)提取為出發(fā)點,利用文本數(shù)據(jù)、監(jiān)測數(shù)據(jù)、空間數(shù)據(jù)等分別建立多結(jié)構(gòu)因子評價指標(biāo)并定義相應(yīng)的計算公式,以此建立基于多結(jié)構(gòu)數(shù)據(jù)挖掘的滑坡穩(wěn)定性時間預(yù)測模型和區(qū)域滑坡災(zāi)害體易發(fā)性評價模型。以NoSQL理論為數(shù)據(jù)存儲體系,在客戶端設(shè)計了數(shù)據(jù)挖掘平臺,實現(xiàn)滑坡位移模型預(yù)測值的輸出及可視化。同時考慮滑坡未來監(jiān)測數(shù)據(jù)量將呈指數(shù)倍增長的趨勢,在MapReduce編程框架下對滑坡預(yù)測模型中的關(guān)聯(lián)規(guī)則算法進行并行轉(zhuǎn)換,實現(xiàn)滑坡大規(guī)模數(shù)據(jù)處理的時間效率提升。具體成果和主要結(jié)論如下：(1)對研究區(qū)四種數(shù)據(jù)類型進行了分析與整理,統(tǒng)一滑坡多結(jié)構(gòu)數(shù)據(jù)的存儲物理模型。通過分析研究區(qū)滑坡專業(yè)監(jiān)測數(shù)據(jù)及其他數(shù)據(jù)的特征,探討了當(dāng)前滑坡數(shù)據(jù)庫建設(shè)的問題：傳統(tǒng)關(guān)系型數(shù)據(jù)庫表格結(jié)構(gòu)不統(tǒng)一,缺乏對多源、異構(gòu)滑坡數(shù)據(jù)的有效管理。以建立多結(jié)構(gòu)數(shù)據(jù)存儲體系為最終目的,將所有滑坡歷史數(shù)據(jù)初始分為監(jiān)測數(shù)值數(shù)據(jù)、空間數(shù)據(jù)、文本數(shù)據(jù)和圖片數(shù)據(jù)；利用NoSQL存儲結(jié)構(gòu)下的文檔型數(shù)據(jù)庫MongoDB,數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為BSON格式存儲到文檔數(shù)據(jù)庫系統(tǒng)中,最終得到監(jiān)測數(shù)據(jù)集、文本數(shù)據(jù)集和圖片數(shù)據(jù)集；這種高效的鍵-值形式,為多種格式、不同來源、關(guān)系松散的滑坡數(shù)據(jù)類型提供了結(jié)構(gòu)存儲格式。(2)結(jié)合多結(jié)構(gòu)評價因子建立了滑坡時間、空間預(yù)測模型及多維判據(jù)提取流程,實現(xiàn)單體滑坡穩(wěn)定性評價和區(qū)域滑坡易發(fā)性分析。融合多結(jié)構(gòu)數(shù)據(jù)挖掘理論,首先從滑坡時間預(yù)測模型分析入手,利用研究區(qū)白家包滑坡監(jiān)測數(shù)據(jù)及文本數(shù)據(jù),歸納綜合評價因子系數(shù)計算公式,結(jié)果表明降雨是影響滑坡變形的主導(dǎo)誘發(fā)因素；詳細分析了白家包滑坡地表變形位移特性與影響因素間的響應(yīng)關(guān)系,結(jié)果表明該滑坡受季候性水力影響較大,確定了將月累積降雨量作為評價指標(biāo),指導(dǎo)二次指數(shù)平滑模型參數(shù)的取值；結(jié)果顯示優(yōu)化模型比原始模型對滑坡累計位移的預(yù)測精度要高,對滑坡中短期變形趨勢時間預(yù)報效果要好。同時在考慮誘發(fā)因素的前提下,建立了優(yōu)化后的Arima模型,結(jié)果表明該模型對滑坡相對位移的擬合預(yù)測能力較好,平均相對誤差比原始Arima模型高出6.28%。由于研究區(qū)內(nèi)水循環(huán)系統(tǒng)動力對斜坡軟弱面的穩(wěn)定性影響很大,涉水滑坡的大面積突發(fā)會造成河道擁塞和居民人生和財產(chǎn)安全,因此,三峽庫區(qū)沿岸滑坡的穩(wěn)定性評價工作將顯得更為重要,在對滑坡前緣高程、據(jù)河距離、面積等數(shù)值指標(biāo)和所在區(qū)發(fā)育巖性等矢量數(shù)據(jù)及離散屬性的挖掘過程中發(fā)現(xiàn),所在區(qū)域巖性為軟性或軟硬相間、坡度在15°-45°范圍內(nèi)、距離河岸在0.1～117.90m時越可能發(fā)生危險,這對新生型滑坡危險性的判別提供了先驗規(guī)則。例如白家包滑坡就屬于危險性較高的案例,在已有滑坡演化階段分類的知識驅(qū)動下,以降雨、庫水位、地下水監(jiān)測指標(biāo)構(gòu)建了關(guān)聯(lián)規(guī)則模型,結(jié)果表明白家包滑坡更容易受到持續(xù)降雨和庫水位波動的共同影響,同時由降雨導(dǎo)致的地下水快速下降會促使滑坡加速進入破壞變形階段,該類判據(jù)對滑坡穩(wěn)定性預(yù)測的精度達到了91.07%。另外本文從面向?qū)ο蟮亩喑叨确指詈蛯＜曳旨壍募夹g(shù)角度出發(fā),基于區(qū)域滑坡易發(fā)性理論構(gòu)建了以遙感影像和庫水、坡度、斜坡結(jié)構(gòu)、工程巖組數(shù)據(jù)的C5.0決策樹模型,實現(xiàn)了對研究區(qū)四類單元的易發(fā)性預(yù)測。多尺度分割后的研究區(qū)共被分割成2279個對象,模型顯示訓(xùn)練樣本和測試樣本平均正確率達91.64%,Kappa系數(shù)分別為0.84、0.51。模型預(yù)測結(jié)果主要以不易發(fā)區(qū)和高易發(fā)區(qū)出現(xiàn)為主,低易發(fā)區(qū)和中易發(fā)區(qū)的空間預(yù)測頻數(shù)相加只有141處,共占對象總數(shù)的6.19%,實驗表明C5.0決策樹算法具有較好的分類性特征,能夠?qū)^(qū)域空間穩(wěn)定性給出明確的易發(fā)性劃分。通過決策樹模型建立研究區(qū)滑坡易發(fā)性分類預(yù)測圖,預(yù)測結(jié)果顯示高易發(fā)性單元較易在長江干流及支流兩岸出現(xiàn),工程巖組通常表現(xiàn)為軟巖巖組和軟硬相間巖組；總結(jié)坡體結(jié)構(gòu)和坡度的發(fā)育規(guī)律,結(jié)果表明坡度在15°-30°之間且出現(xiàn)順向坡或斜向坡的區(qū)域較易出現(xiàn)高易發(fā)性單元。這與歷史矢量數(shù)據(jù)分析的結(jié)果情況相貼切,模型預(yù)測結(jié)果可靠。(3)搭建了基于MongoDB的多結(jié)構(gòu)滑坡數(shù)據(jù)挖掘系統(tǒng)平臺,實現(xiàn)了基于分布式數(shù)據(jù)庫技術(shù)支持下的滑坡多結(jié)構(gòu)數(shù)據(jù)挖掘功能。利用MongoDB數(shù)據(jù)庫與Java語言框架,編程實現(xiàn)了多結(jié)構(gòu)化數(shù)據(jù)分布式存儲、查詢及優(yōu)化后的二次指數(shù)模型功能,分別在服務(wù)器端和客戶端部署了數(shù)據(jù)平臺。以樹坪滑坡作為研究對象,在數(shù)據(jù)分析階段搜索相關(guān)文檔和監(jiān)測數(shù)據(jù)作為評價指標(biāo),獲取多結(jié)構(gòu)評價因子系數(shù)的大小,其中庫水位指標(biāo)系數(shù)最大,達到了0.65；后續(xù)實驗也證明在引起樹坪滑坡失穩(wěn)的規(guī)則中,庫水位的快速下降起到了比較明顯的作用,尤其在破壞變形階段和剪切膨脹階段,快速下降的庫水位是誘發(fā)滑坡失穩(wěn)的最重要因素；在庫水位波動與樹坪滑坡演化階段的高度關(guān)聯(lián)支持的前提下,編程實現(xiàn)了指數(shù)優(yōu)化模型的導(dǎo)入,通過庫水位的動態(tài)變化修正模型參數(shù)值,最終采用Java窗體和曲線繪制組件實現(xiàn)了模型預(yù)測值與滑坡累計位移實測值的輸出及可視化,模型平均相對誤差為5.5%。(4)設(shè)計了基于云計算環(huán)境下的Apriori并行化算法,實現(xiàn)對海量滑坡監(jiān)測數(shù)據(jù)頻繁項的快速提取。通過分析滑坡預(yù)測模型中的Aporiori算法流程,融合并行化編程框架MapReduce理論,分別實現(xiàn)了頻繁項提取的Map和Reduce方法設(shè)計。采用Hadoop1.2.1穩(wěn)定版,搭建包含8個節(jié)點服務(wù)器的集群。把上述兩類并行化后的算法部署到集群中的云計算平臺上運行,最后利用滑坡監(jiān)測數(shù)據(jù)集,比較算法在單機和集群系統(tǒng)上的不同時間效率。結(jié)果表明在數(shù)據(jù)規(guī)模不斷增長下,加速比性能將得到了提升,例如當(dāng)數(shù)據(jù)量達到60822條時,加速比為1.56�；贛apReduce的并行算法可以解決在單機系統(tǒng)下滑坡大規(guī)模數(shù)據(jù)挖掘的時間瓶頸問題,由于任務(wù)可被分配到各處理器的工作周期中進行,可節(jié)約整體的資源開銷,提升時間效率。
【學(xué)位授予單位】：中國地質(zhì)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：P642.22

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 傅嵐;在數(shù)據(jù)海洋中打撈信息數(shù)據(jù)挖掘[J];科技廣場;2002年11期

2 黃宏濤,陳陽;數(shù)據(jù)挖掘在客戶關(guān)系管理中的應(yīng)用[J];中國西部科技;2005年07期

3 董大鴻,何海青;淺談數(shù)據(jù)挖掘語言[J];江西科學(xué);2005年03期

4 曾瑩,陳曉柱;數(shù)據(jù)挖掘及算法淺談[J];中國科技信息;2005年14期

5 譚建中;淺析實施數(shù)據(jù)挖掘項目需要考慮的問題[J];大眾科技;2005年09期

6 石峰,周紹梅;數(shù)據(jù)挖掘語言及其標(biāo)準(zhǔn)化淺析[J];江西科學(xué);2005年01期

7 周忠眉;數(shù)據(jù)挖掘課程大綱的建設(shè)[J];漳州師范學(xué)院學(xué)報(自然科學(xué)版);2005年01期

8 王秀麗;數(shù)據(jù)挖掘功能特性及其應(yīng)用流程分析[J];科技創(chuàng)業(yè)月刊;2005年05期

9 劉曉華;;數(shù)據(jù)挖掘在銀行中的應(yīng)用[J];科技資訊;2006年32期

10 張敏;;數(shù)據(jù)挖掘在數(shù)字化校園建設(shè)中的應(yīng)用分析[J];內(nèi)江科技;2007年04期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 史東輝;蔡慶生;張春陽;;一種新的數(shù)據(jù)挖掘多策略方法研究[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2000年

2 張弦;;數(shù)據(jù)挖掘在農(nóng)業(yè)中的應(yīng)用[A];紀(jì)念中國農(nóng)業(yè)工程學(xué)會成立30周年暨中國農(nóng)業(yè)工程學(xué)會2009年學(xué)術(shù)年會（CSAE 2009）論文集[C];2009年

3 魏順平;;教育數(shù)據(jù)挖掘:現(xiàn)狀與趨勢[A];信息化、工業(yè)化融合與服務(wù)創(chuàng)新——第十三屆計算機模擬與信息技術(shù)學(xué)術(shù)會議論文集[C];2011年

4 關(guān)清平;沉培輝;;概率網(wǎng)絡(luò)在數(shù)據(jù)挖掘上的應(yīng)用[A];科技、工程與經(jīng)濟社會協(xié)調(diào)發(fā)展——中國科協(xié)第五屆青年學(xué)術(shù)年會論文集[C];2004年

5 丁瑾;;基于Web數(shù)據(jù)挖掘的綜述[A];山西省科學(xué)技術(shù)情報學(xué)會學(xué)術(shù)年會論文集[C];2004年

6 聶茹;田森平;;Web數(shù)據(jù)挖掘及其在電子商務(wù)中的應(yīng)用[A];中南六�。▍^(qū)）自動化學(xué)會第24屆學(xué)術(shù)年會會議論文集[C];2006年

7 李菊;王軍;;數(shù)據(jù)挖掘在客戶關(guān)系管理的應(yīng)用[A];計算機技術(shù)與應(yīng)用進展·2007——全國第18屆計算機技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2007年

8 肖陽;李啟賢;;數(shù)據(jù)挖掘在中國鋼鐵行業(yè)中的應(yīng)用[A];中國計量協(xié)會冶金分會2012年會暨能源計量與節(jié)能降耗經(jīng)驗交流會論文集[C];2012年

9 楊磊;王貴成;汪勇;張占勝;;SQL Server 2005在數(shù)據(jù)挖掘中的應(yīng)用[A];2009年中國智能自動化會議論文集（第二分冊）[C];2009年

10 謝中;邱玉輝;;面向商務(wù)網(wǎng)站有效性的數(shù)據(jù)挖掘方法[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2001年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 本報記者褚寧;數(shù)據(jù)挖掘如“挖金”[N];解放日報;2002年

2 周蓉蓉;數(shù)據(jù)挖掘需要點想像力[N];計算機世界;2004年

3 □中國電信股份有限公司北京研究院 張舒博 □北京郵電大學(xué)計算機科學(xué)與技術(shù)學(xué)院 牛琨;走出數(shù)據(jù)挖掘的誤區(qū)[N];人民郵電;2006年

4 《網(wǎng)絡(luò)世界》記者 王瑩;數(shù)據(jù)挖掘保險業(yè)的新藍海[N];網(wǎng)絡(luò)世界;2012年

5 劉俊麗;基于地理化的網(wǎng)絡(luò)數(shù)據(jù)挖掘與分析提升投資有效性[N];人民郵電;2014年

6 本報記者 連曉東;數(shù)據(jù)挖掘：金融信息化新熱點[N];中國電子報;2002年

7 本報記者 鳳小華 朱仁康;“數(shù)字挖掘軟件”引領(lǐng)中國信息化新浪潮[N];中國電子報;2003年

8 本報記者　史延廷;“成功企業(yè)數(shù)據(jù)挖掘暨數(shù)量化管理論壇”在京舉辦[N];中國旅游報;2002年

9 朱小寧;數(shù)據(jù)挖掘：信息化戰(zhàn)爭的基礎(chǔ)工程[N];解放軍報;2005年

10 本報記者 王小平;從“大集中”走向數(shù)據(jù)挖掘[N];金融時報;2002年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 于自強;海量流數(shù)據(jù)挖掘相關(guān)問題研究[D];山東大學(xué);2015年

2 張馨;全基因組SNP芯片應(yīng)用于CNV和L0H分析的軟件比對與數(shù)據(jù)挖掘[D];復(fù)旦大學(xué);2011年

3 彭計紅;基于數(shù)據(jù)挖掘的癡呆中醫(yī)證的研究[D];南京中醫(yī)藥大學(xué);2015年

4 李秋虹;基于MapReduce的大規(guī)模數(shù)據(jù)挖掘技術(shù)研究[D];復(fù)旦大學(xué);2013年

5 鄔文帥;基于多目標(biāo)決策的數(shù)據(jù)挖掘方法評估與應(yīng)用[D];電子科技大學(xué);2015年

6 謝邦彥;整合數(shù)據(jù)挖掘與TRIZ理論的質(zhì)量管理方法研究[D];首都經(jīng)濟貿(mào)易大學(xué);2010年

7 何偉全;云南高校學(xué)生意外傷害因素關(guān)聯(lián)規(guī)則挖掘及風(fēng)險管控體系研究[D];昆明理工大學(xué);2015年

8 段功豪;基于多結(jié)構(gòu)數(shù)據(jù)挖掘的滑坡災(zāi)害預(yù)測模型研究[D];中國地質(zhì)大學(xué);2016年

9 白曉明;基于數(shù)據(jù)挖掘的復(fù)合材料宏—細觀力學(xué)模型研究[D];哈爾濱工業(yè)大學(xué);2016年

10 藍永豪（LAM Wing Ho）;基于數(shù)據(jù)挖掘技術(shù)分析當(dāng)代中醫(yī)名家痤瘡驗方經(jīng)驗研究[D];南京中醫(yī)藥大學(xué);2016年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 林仁紅;基于數(shù)據(jù)挖掘的機遇識別與評價研究[D];首都經(jīng)濟貿(mào)易大學(xué);2007年

2 張彥俊;游戲運營中的數(shù)據(jù)挖掘[D];復(fù)旦大學(xué);2011年

3 焦亞召;基于多核函數(shù)FCM算法在數(shù)據(jù)挖掘聚類中的應(yīng)用研究[D];昆明理工大學(xué);2015年

4 王杰鋒;物聯(lián)網(wǎng)能耗數(shù)據(jù)智能分析及其應(yīng)用平臺設(shè)計[D];江南大學(xué);2015年

5 劉學(xué)建;數(shù)據(jù)挖掘在電子商務(wù)推薦系統(tǒng)中的應(yīng)用研究[D];昆明理工大學(xué);2015年

6 戴陽陽;基于數(shù)據(jù)挖掘的金融時間序列預(yù)測研究與應(yīng)用[D];江南大學(xué);2015年

7 石思優(yōu);基于主題模型的醫(yī)療數(shù)據(jù)挖掘研究[D];廣東技術(shù)師范學(xué)院;2015年

8 陳丹;移動互聯(lián)網(wǎng)信令挖掘?qū)崿F(xiàn)智慧營銷的設(shè)計與實現(xiàn)應(yīng)用研究[D];華南理工大學(xué);2015年

9 陳思;基于數(shù)據(jù)挖掘的大學(xué)生客戶識別模型的研究[D];昆明理工大學(xué);2015年

10 位長帥;基于客戶數(shù)據(jù)挖掘的電信客戶關(guān)系管理研究[D];西南交通大學(xué);2015年

，

本文編號：1313402