基于Hadoop的石油大數據平臺設計與實現
發(fā)布時間：2021-09-22 02:07
某省關于石油的各類采集設備數量繁多,且格式各異。現今為了將某省各石油站點的采集數據統(tǒng)一存儲起來,需要一個大數據存儲中心。大數據存儲中心必須在容量上滿足存儲要求,可以存儲目前以及未來的石油數據。在數據輸入方面,存儲中心要能滿足全省數據輸入流量的要求。同時要具備有高效的海量數據查找功能。此外,要具備有相應的系統(tǒng)監(jiān)控功能,能夠監(jiān)控系統(tǒng)的實時IO,實時網絡負載,實時資源使用率等等,為管理人員提供便捷的監(jiān)控功能;在安全方面,也要有相應的措施防止數據泄露;在系統(tǒng)管理上,要有配套的管理功能如節(jié)點新增、存儲擴容、節(jié)點遷移等。為了解決以上問題,本文基于Hadoop分布式平臺搭建了一個石油大數據平臺,用來存儲、管理、查詢石油大數據。在解決海量數據的存儲問題上面使用基于HDFS的分布式存儲系統(tǒng),具備有多副本和動態(tài)擴容的能力;在數據輸入方面,使用基于Kafka的分布式消息隊列保證數據的安全性和高效性;在數據查詢方面,通過應用Hbase數據庫,達到對海量數據的高效查詢;在監(jiān)控功能、管理功能和安全功能使用基于CM的管理平臺對大數據存儲中心進行統(tǒng)一管理。最終對實現的石油大數據平臺進行測試。系統(tǒng)可以到達每秒4萬條數據...
【文章來源】：華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數】：68 頁
【學位級別】：碩士
【部分圖文】：
YARN的架構圖
華 中 科 技 大 學 碩 士 學 位 論 文5. 選擇我們需要為群集所安裝的服務：包括 HDFS、HBase、hive 等等6. 角色分配：不同服務器在不同組件中扮演的角色不同，根據需要分配角色7. 設置數據庫8. 設置群集這樣 CM 數據庫中自帶的所有我們需要使用的組件全都在服務器上安裝成功了，其中 Kafka 需要通過離線安裝的方式加入到整個群集中。對四臺服務器也根據其在Kafka 中扮演的角色來配置環(huán)境。所有服務安裝成功之后，CM 的界面如圖 3-1 所示。
stcode 站點編碼 reporttime 發(fā)送時間uid 設備 id temp 溫度protocol 協(xié)議編號 stdflux 標況瞬時datetime 采集時間 stdvolume 標況累計press 壓力 state 狀況actflux 工況瞬時 alarm 警告actvolume 工況累計 mark 標記rx rx 報文 tx tx 報文其中發(fā)送時間和采集時間只使用其中一個作為數據標準獲取時間，最終選擇datatime 作為實際時間，另外一個則棄掉。3.3.2 HBase 數據表設計需求方對于數據存儲的需求總共有以下幾點：1. 實時采集數據種類分為：流量計數據和傳感器數據。不同種類的設備采集數據分表存儲；2. 需要額外的一種分鐘表來對實時表中的數據進行統(tǒng)計計算后再次存儲；3. 需要一張表用來存儲所有已錄入數據的站點相關數據。
【參考文獻】：
期刊論文
[1]基于Spark Streaming的電力流式大數據分析架構及應用[J]. 田璐,齊林海,李青,王紅,田世明,卜凡鵬. 電力信息與通信技術. 2019(02)
[2]基于HBase的海量冠字號碼多維索引研究[J]. 張藝,張重陽. 計算機與數字工程. 2019(01)
[3]基于Hadoop平臺的軌道交通能效管理系統(tǒng)的建設方案[J]. 陳莉莉,張賽橋,狄穎琪. 自動化儀表. 2019(01)
[4]基于行鍵的HBase大數據文件存儲轉換與快速檢索研究[J]. 圣文順,徐愛萍. 計算機應用研究. 2019(12)
[5]基于Hadoop的海量氣象水文數據并發(fā)處理模型[J]. 李輝,王建文,葉明雯. 計算機應用. 2018(S2)
[6]基于Hadoop分布式交通大數據存儲分析平臺設計[J]. 陳中,范開勇,饒宏博. 電腦編程技巧與維護. 2018(12)
[7]基于Hadoop的高校教育私有云平臺的構建與應用研究[J]. 戈振興,邊靜. 信息通信. 2018(12)
[8]基于Hadoop的氣象大數據分析GIS平臺設計與試驗[J]. 李濤,馮仲科,孫素芬,程文生. 農業(yè)機械學報. 2019(01)
[9]一種基于Yarn云計算平臺與NMF的大數據聚類算法[J]. 馮新?lián)P,沈建京. 信息網絡安全. 2018(08)
[10]Hadoop Hive實現日志數據統(tǒng)計[J]. 張野. 電腦編程技巧與維護. 2018(04)
碩士論文
[1]基于Hadoop平臺的地理空間數據管理系統(tǒng)[D]. 張洋.西安電子科技大學 2018
[2]基于Kafka的大規(guī)模流數據分布式緩存與分析平臺[D]. 牛牧.吉林大學 2016
本文編號：3402922
【文章來源】：華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數】：68 頁
【學位級別】：碩士
【部分圖文】：
YARN的架構圖
華 中 科 技 大 學 碩 士 學 位 論 文5. 選擇我們需要為群集所安裝的服務：包括 HDFS、HBase、hive 等等6. 角色分配：不同服務器在不同組件中扮演的角色不同，根據需要分配角色7. 設置數據庫8. 設置群集這樣 CM 數據庫中自帶的所有我們需要使用的組件全都在服務器上安裝成功了，其中 Kafka 需要通過離線安裝的方式加入到整個群集中。對四臺服務器也根據其在Kafka 中扮演的角色來配置環(huán)境。所有服務安裝成功之后，CM 的界面如圖 3-1 所示。
stcode 站點編碼 reporttime 發(fā)送時間uid 設備 id temp 溫度protocol 協(xié)議編號 stdflux 標況瞬時datetime 采集時間 stdvolume 標況累計press 壓力 state 狀況actflux 工況瞬時 alarm 警告actvolume 工況累計 mark 標記rx rx 報文 tx tx 報文其中發(fā)送時間和采集時間只使用其中一個作為數據標準獲取時間，最終選擇datatime 作為實際時間，另外一個則棄掉。3.3.2 HBase 數據表設計需求方對于數據存儲的需求總共有以下幾點：1. 實時采集數據種類分為：流量計數據和傳感器數據。不同種類的設備采集數據分表存儲；2. 需要額外的一種分鐘表來對實時表中的數據進行統(tǒng)計計算后再次存儲；3. 需要一張表用來存儲所有已錄入數據的站點相關數據。
【參考文獻】：
期刊論文
[1]基于Spark Streaming的電力流式大數據分析架構及應用[J]. 田璐,齊林海,李青,王紅,田世明,卜凡鵬. 電力信息與通信技術. 2019(02)
[2]基于HBase的海量冠字號碼多維索引研究[J]. 張藝,張重陽. 計算機與數字工程. 2019(01)
[3]基于Hadoop平臺的軌道交通能效管理系統(tǒng)的建設方案[J]. 陳莉莉,張賽橋,狄穎琪. 自動化儀表. 2019(01)
[4]基于行鍵的HBase大數據文件存儲轉換與快速檢索研究[J]. 圣文順,徐愛萍. 計算機應用研究. 2019(12)
[5]基于Hadoop的海量氣象水文數據并發(fā)處理模型[J]. 李輝,王建文,葉明雯. 計算機應用. 2018(S2)
[6]基于Hadoop分布式交通大數據存儲分析平臺設計[J]. 陳中,范開勇,饒宏博. 電腦編程技巧與維護. 2018(12)
[7]基于Hadoop的高校教育私有云平臺的構建與應用研究[J]. 戈振興,邊靜. 信息通信. 2018(12)
[8]基于Hadoop的氣象大數據分析GIS平臺設計與試驗[J]. 李濤,馮仲科,孫素芬,程文生. 農業(yè)機械學報. 2019(01)
[9]一種基于Yarn云計算平臺與NMF的大數據聚類算法[J]. 馮新?lián)P,沈建京. 信息網絡安全. 2018(08)
[10]Hadoop Hive實現日志數據統(tǒng)計[J]. 張野. 電腦編程技巧與維護. 2018(04)
碩士論文
[1]基于Hadoop平臺的地理空間數據管理系統(tǒng)[D]. 張洋.西安電子科技大學 2018
[2]基于Kafka的大規(guī)模流數據分布式緩存與分析平臺[D]. 牛牧.吉林大學 2016
本文編號：3402922
本文鏈接：http://www.sikaile.net/kejilunwen/shiyounenyuanlunwen/3402922.html
教材專著
