針對(duì)華北型煤田煤層底板突水監(jiān)測(cè)預(yù)警問(wèn)題,以底板"下三帶"理論為基礎(chǔ),開展了微震-電法耦合系統(tǒng)水害監(jiān)測(cè)預(yù)警。在分析微震-電法耦合系統(tǒng)監(jiān)測(cè)數(shù)據(jù)基礎(chǔ)上,采用Flume設(shè)計(jì)數(shù)據(jù)遷移子系統(tǒng),以流處理方式對(duì)監(jiān)測(cè)源數(shù)據(jù)進(jìn)行預(yù)處理,對(duì)關(guān)鍵目標(biāo)數(shù)據(jù)進(jìn)行采集、聚合和傳輸,實(shí)現(xiàn)了有效監(jiān)測(cè)數(shù)據(jù)的實(shí)時(shí)遷移。此外,針對(duì)煤礦水害多源監(jiān)測(cè)預(yù)警過(guò)程中數(shù)據(jù)規(guī)模大、數(shù)據(jù)實(shí)時(shí)處理要求高等特點(diǎn),結(jié)合多源異構(gòu)數(shù)據(jù)關(guān)聯(lián)分析和時(shí)空屬性數(shù)據(jù)分析處理需求,基于Spark和HDFS設(shè)計(jì)實(shí)現(xiàn)了具備TB級(jí)數(shù)據(jù)存儲(chǔ)處理能力的煤礦水害多源監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)平臺(tái)。該平臺(tái)采用HDFS設(shè)計(jì)構(gòu)建統(tǒng)一的多源時(shí)序大數(shù)據(jù)存儲(chǔ)體系,通過(guò)MapReduce實(shí)現(xiàn)大數(shù)據(jù)并行處理,利用YARN實(shí)現(xiàn)資源的調(diào)度與管理,為海量數(shù)據(jù)存儲(chǔ)提供支撐。平臺(tái)采用Spark Streaming框架搭建了數(shù)據(jù)實(shí)時(shí)處理中心,通過(guò)流處理方式實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)高速處理,并通過(guò)智能預(yù)警算法模塊和遠(yuǎn)程服務(wù)接口為預(yù)警系統(tǒng)現(xiàn)場(chǎng)應(yīng)用提供支撐。在智能預(yù)警技術(shù)方面,結(jié)合監(jiān)測(cè)數(shù)據(jù)的時(shí)空屬性特點(diǎn),提出了基于深度學(xué)習(xí)時(shí)空序列預(yù)測(cè)方法——長(zhǎng)短時(shí)記憶循環(huán)網(wǎng)絡(luò)智能預(yù)警模型的底板突水模型預(yù)警技術(shù)。該預(yù)警技術(shù)基于LSTM方法,以"下三... 

【文章來(lái)源】：煤炭學(xué)報(bào). 2020,45(07)北大核心EICSCD

【文章頁(yè)數(shù)】：9 頁(yè)

【部分圖文】：

基于“下三帶”理論的煤層底板水害綜合監(jiān)測(cè)示意

數(shù)據(jù)遷移子系統(tǒng)基于Flume系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)，以流處理方式對(duì)源數(shù)據(jù)進(jìn)行篩選整理，對(duì)關(guān)鍵數(shù)據(jù)進(jìn)行采集、聚合，并通過(guò)互聯(lián)網(wǎng)將數(shù)據(jù)實(shí)時(shí)傳輸至大數(shù)據(jù)處理中心，實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)的實(shí)時(shí)遷移。在數(shù)據(jù)遷移傳輸過(guò)程中，并不需要把所有采集到的數(shù)據(jù)都遷移到數(shù)據(jù)池中，而是通過(guò)重新選擇和整理分類后將所需數(shù)據(jù)遷移到數(shù)據(jù)池中[16]。數(shù)據(jù)遷移的原理如圖2所示。Flume是一個(gè)海量日志采集、聚合和傳輸?shù)南到y(tǒng)，支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)。Flume以流方式處理數(shù)據(jù)，可作為代理持續(xù)運(yùn)行。當(dāng)新的數(shù)據(jù)可用時(shí)，F(xiàn)lume能夠立即獲取數(shù)據(jù)并輸出至目標(biāo)，解決數(shù)據(jù)遷移的實(shí)時(shí)性問(wèn)題[17]。Flume的核心是Agent，里面包含3個(gè)核心的組件:接受數(shù)據(jù)輸入的source、數(shù)據(jù)緩存channel和數(shù)據(jù)輸出sink。source組件是專門用來(lái)收集數(shù)據(jù)的，可以處理各種類型、各種格式的日志數(shù)據(jù);source組件收集數(shù)據(jù)后，將數(shù)據(jù)發(fā)送給channel;channel組件用來(lái)存放臨時(shí)數(shù)據(jù)，對(duì)采集到的數(shù)據(jù)進(jìn)行簡(jiǎn)單緩存;sink組件將數(shù)據(jù)發(fā)送到HDFS中。

根據(jù)煤礦水害多源監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)、數(shù)據(jù)特點(diǎn)以及預(yù)警應(yīng)用的具體需求，筆者采用HDFS對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行存儲(chǔ)設(shè)計(jì)，提出基于Spark和HDFS的煤礦水害多源監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)平臺(tái)架構(gòu)，主要由數(shù)據(jù)遷移存儲(chǔ)層、數(shù)據(jù)處理層和業(yè)務(wù)應(yīng)用層組成。平臺(tái)具有數(shù)據(jù)管理與分布式存儲(chǔ)功能，并包括礦井水害監(jiān)測(cè)預(yù)警的業(yè)務(wù)處理數(shù)據(jù)接口、資源管理子系統(tǒng)和運(yùn)行調(diào)度子系統(tǒng)等，為處理TB級(jí)大規(guī)模的數(shù)據(jù)存儲(chǔ)問(wèn)題提供了有效的解決方案。此外，還包括信息綜合查詢子系統(tǒng)、任務(wù)負(fù)載管理子系統(tǒng)、資源搜索子系統(tǒng)、用戶管理子系統(tǒng)和平臺(tái)監(jiān)控子系統(tǒng)。向上是基于Web的云服務(wù)，通過(guò)基于互聯(lián)網(wǎng)的云API(Application Programming Interface，應(yīng)用程序接口)，使布設(shè)在煤礦監(jiān)測(cè)主機(jī)上的預(yù)警系統(tǒng)應(yīng)用端能夠遠(yuǎn)程調(diào)用大數(shù)據(jù)中心的分布式計(jì)算機(jī)資源、大容量數(shù)據(jù)存儲(chǔ)和智能預(yù)警算法庫(kù)，為現(xiàn)場(chǎng)實(shí)時(shí)智能預(yù)警提供支撐。綜合數(shù)據(jù)管理作為支持系統(tǒng)，支持整個(gè)平臺(tái)的業(yè)務(wù)運(yùn)行。大數(shù)據(jù)處理與分布式存儲(chǔ)系統(tǒng)則通過(guò)一定的網(wǎng)絡(luò)架構(gòu)及傳輸協(xié)議將多源數(shù)據(jù)整合起來(lái)，如圖3所示。其中數(shù)據(jù)處理層基于Hadoop平臺(tái)設(shè)計(jì)，采用HDFS設(shè)計(jì)構(gòu)建統(tǒng)一的多源時(shí)序大數(shù)據(jù)存儲(chǔ)體系，通過(guò)MapReduce實(shí)現(xiàn)大數(shù)據(jù)并行處理，同時(shí)，通過(guò)YARN實(shí)現(xiàn)資源的調(diào)度與管理，為海量數(shù)據(jù)存儲(chǔ)提供支撐[20]。實(shí)時(shí)處理中心采用具有較強(qiáng)容錯(cuò)能力的Spark Streaming框架搭建，通過(guò)流處理方式讀取HDFS中的監(jiān)測(cè)數(shù)據(jù)，實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)高速處理。

【參考文獻(xiàn)】：
期刊論文
[1]煤層底板水害三維監(jiān)測(cè)與智能預(yù)警系統(tǒng)研究[J]. 靳德武,趙春虎,段建華,喬偉,魯晶津,李鵬,周振方,李德山.  煤炭學(xué)報(bào). 2020(06)
[2]深部底板奧灰薄灰突水機(jī)理及全時(shí)空防治技術(shù)[J]. 尹尚先,王屹,尹慧超,徐斌,王鐵記,楊俊文,田午子,徐維,曹敏.  煤炭學(xué)報(bào). 2020(05)
[3]煤炭智能精準(zhǔn)開采工作面地質(zhì)模型梯級(jí)構(gòu)建及其關(guān)鍵技術(shù)[J]. 程建遠(yuǎn),朱夢(mèng)博,王云宏,岳輝,崔偉雄.  煤炭學(xué)報(bào). 2019(08)
[4]隨采地震監(jiān)測(cè)數(shù)據(jù)采集控制軟件開發(fā)[J]. 段建華,王云宏,王保利.  煤田地質(zhì)與勘探. 2019(03)
[5]含水煤層水害形成機(jī)理及防治技術(shù)[J]. 王皓.  煤田地質(zhì)與勘探. 2019(03)
[6]華北型煤田奧灰頂部利用與改造判別準(zhǔn)則及底板破壞深度[J]. 董書寧,王皓,張文忠.  煤炭學(xué)報(bào). 2019(07)
[7]煤礦防治水智能化技術(shù)與裝備研究現(xiàn)狀及展望[J]. 靳德武,喬偉,李鵬,樊娟.  煤炭科學(xué)技術(shù). 2019(03)
[8]基于云平臺(tái)的礦井水害智慧應(yīng)急救援系統(tǒng)與應(yīng)用[J]. 武強(qiáng),徐華,趙穎旺,杜沅澤,張小燕,穆文平,姚義.  煤炭學(xué)報(bào). 2018(10)
[9]智慧礦山建設(shè)架構(gòu)體系及其關(guān)鍵技術(shù)[J]. 陳曉晶,何敏.  煤炭科學(xué)技術(shù). 2018(02)
[10]基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的故障時(shí)間序列預(yù)測(cè)[J]. 王鑫,吳際,劉超,楊海燕,杜艷麗,牛文生.  北京航空航天大學(xué)學(xué)報(bào). 2018(04)



本文編號(hào)：3333977