基于Hadoop生態(tài)圈的工業(yè)數據平臺設計與研究
發(fā)布時間：2021-12-23 09:15
當今,“得數據者得天下”已經成為全球共識,數據不再是社會生產的“副產物”,它變成了生產資料、可被多次加工的原料,并從中挖掘出更大價值。可以預言,未來企業(yè)的核心競爭力的基礎就是該公司數據的積累、處理與變現能力。然而,作為實體經濟的“掌上明珠”的制造業(yè),正成為大數據融合的主戰(zhàn)場,隨著產業(yè)結構的持續(xù)升級,以及軟件、網絡、裝備等各交叉領域間技術跨界融合,都為工業(yè)大數據在制造業(yè)的發(fā)展提供了一定的技術基礎。本文提出一種基于Hadoop生態(tài)圈的工業(yè)數據平臺設計方案,并進行分析研究;探討了HDFS分布式文件系統(tǒng)、Spark計算框架、列式數據庫、可視化應用的信息化工業(yè)數據平臺搭建全過程多個關鍵技術點。剖析了所運用到的Hadoop生態(tài)圈組件的詳細運行機制,并針對Hadoop實際數據存儲場景的不足補充關于列式設計與大規(guī)模并行處理的關系型數據庫優(yōu)化策略;本文從實際項目中總結平臺需求,梳理平臺整體的客戶要求,然后從技術角度上描述了該平臺所需要的技術功能模塊,進而以運維人員和使用客戶的角度,以及從穩(wěn)定性、人際交互等要素對平臺進行了非功能性需求分析,最終明確了平臺最終規(guī)模、預期效果。本文以前沿技術理論為依托,結合先...
【文章來源】：華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數】：60 頁
【學位級別】：碩士
【部分圖文】：
工業(yè)大數據在智能制造中的關鍵作用目前，工業(yè)、信息通信和互聯(lián)網等各領域的企業(yè)紛紛布局
發(fā)掘行業(yè)信息資源價值，提高工業(yè)大數據的利用率，是當前迫切需要解決的問題。1.3 Hadoop 生態(tài)圈Hadoop[11-12]起源于谷歌在 2003 年和 2004 年發(fā)表了 GFS[13]和 MapReduce[14]兩篇論文，最開始是針對大數據處理需求提出的分布式存儲技術。自 2006 年面世以來Hadoop 技術發(fā)展迅猛，其技術生態(tài)圈也日益壯大，從原先只有 HDFS 和 MapRedu兩個組件發(fā)展到目前的 60 多個組件，覆蓋了從數據存儲、計算引擎到數據訪問框架等各個層面，目前大數據技術基本都依賴于 Hadoop 生態(tài)系統(tǒng)下的東西（除了谷歌自有系統(tǒng)），HDFS，Hive，HBase 仍然是解決巨量數據存儲和 ETL 的必要工具（即使是亞馬遜的 S3 也是 HDFS）。Hadoop 繼承了 GFS 和 MapReduce 的高效分布式計算框架，在提供了前所未有的計算能力的同時，也大大降低了計算成本，使其在大規(guī)模數據處理分析和處理，為大數據提供了一個完整的、多種選擇地解決方案。
設計靈感來自谷歌發(fā)表于 2003 年 10 月的 GFS 論文，它是 Had統(tǒng)，也是本文平臺存儲架構的核心。HDFS 有著同其他分布式文主要指適合運行在低成本通用硬件集群上[16]，但又同其他分布式或者說進一步得到優(yōu)化。 是一個多層次的架構，除了緒論中的簡單介紹之外，它是基于模式，一個 Namenode（管理節(jié)點）和多個 Datanode（工作節(jié)點訊即 RPC[17]來實現層間的信息交互。 由三個層次組成：客戶端層、名稱節(jié)點層和數據節(jié)點層，基于集群，并可以通過增加附加集群節(jié)點擴展數據存儲規(guī)模，分布于taNode），并對文件塊進行備份存儲，由 Namenode（數據管理據塊將均衡地分布，建立高容錯性和保護機制，保證數據或節(jié)點使用，實時監(jiān)測數據和性能；如圖 2-1 所示。
【參考文獻】：
期刊論文
[1]使用虛擬機搭建Hadoop3.0集群安裝環(huán)境[J]. 楊云海,章芬芬. 現代信息科技. 2018(10)
[2]基于HTML5與物聯(lián)網技術的大數據中心機房智能管理系統(tǒng)[J]. 彭燦華,楊呈永,張玉斌. 實驗室研究與探索. 2018(04)
[3]基于HTML5的大數據可視化展示平臺設計與實踐[J]. 吳曉寧. 信息技術與標準化. 2018(04)
[4]大數據應用的現狀與展望[J]. 余聶芳. 數碼世界. 2017(12)
[5]工業(yè)大數據發(fā)展現狀及前景展望[J]. 范學軍. 現代電信科技. 2017(04)
[6]基于ASP.NET MVC6框架的Web應用開發(fā)研究[J]. 周寶昌. 電腦知識與技術. 2017(02)
[7]大數據流式計算:應用特征和技術挑戰(zhàn)[J]. 孫大為. 大數據. 2015(03)
[8]大數據平臺下的工業(yè)優(yōu)化——面向節(jié)能降耗的水泥生產優(yōu)化決策系統(tǒng)簡介[J]. 凡福林. 中國設備工程. 2015(06)
[9]面向智能電網應用的電力大數據關鍵技術[J]. 彭小圣,鄧迪元,程時杰,文勁宇,李朝暉,牛林. 中國電機工程學報. 2015(03)
[10]云平臺下輸變電設備狀態(tài)監(jiān)測大數據存儲優(yōu)化與并行處理[J]. 宋亞奇,周國亮,朱永利,李莉,王劉旺,王德文. 中國電機工程學報. 2015(02)
博士論文
[1]大數據處理技術與系統(tǒng)研究[D]. 顧榮.南京大學 2016
[2]面向PLM的數據挖掘技術和應用研究[D]. 徐河杭.浙江大學 2010
碩士論文
[1]基于Hadoop的女裝商品推薦系統(tǒng)設計與實現[D]. 虞樂文.華中科技大學 2018
[2]基于Hadoop的電子商務推薦系統(tǒng)的設計與實現[D]. 彭興.閩南師范大學 2016
[3]MES車間生產調度系統(tǒng)及其數據挖掘方法的研究[D]. 徐玉婷.南京航空航天大學 2007
本文編號：3548212
【文章來源】：華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數】：60 頁
【學位級別】：碩士
【部分圖文】：
工業(yè)大數據在智能制造中的關鍵作用目前，工業(yè)、信息通信和互聯(lián)網等各領域的企業(yè)紛紛布局
發(fā)掘行業(yè)信息資源價值，提高工業(yè)大數據的利用率，是當前迫切需要解決的問題。1.3 Hadoop 生態(tài)圈Hadoop[11-12]起源于谷歌在 2003 年和 2004 年發(fā)表了 GFS[13]和 MapReduce[14]兩篇論文，最開始是針對大數據處理需求提出的分布式存儲技術。自 2006 年面世以來Hadoop 技術發(fā)展迅猛，其技術生態(tài)圈也日益壯大，從原先只有 HDFS 和 MapRedu兩個組件發(fā)展到目前的 60 多個組件，覆蓋了從數據存儲、計算引擎到數據訪問框架等各個層面，目前大數據技術基本都依賴于 Hadoop 生態(tài)系統(tǒng)下的東西（除了谷歌自有系統(tǒng)），HDFS，Hive，HBase 仍然是解決巨量數據存儲和 ETL 的必要工具（即使是亞馬遜的 S3 也是 HDFS）。Hadoop 繼承了 GFS 和 MapReduce 的高效分布式計算框架，在提供了前所未有的計算能力的同時，也大大降低了計算成本，使其在大規(guī)模數據處理分析和處理，為大數據提供了一個完整的、多種選擇地解決方案。
設計靈感來自谷歌發(fā)表于 2003 年 10 月的 GFS 論文，它是 Had統(tǒng)，也是本文平臺存儲架構的核心。HDFS 有著同其他分布式文主要指適合運行在低成本通用硬件集群上[16]，但又同其他分布式或者說進一步得到優(yōu)化。 是一個多層次的架構，除了緒論中的簡單介紹之外，它是基于模式，一個 Namenode（管理節(jié)點）和多個 Datanode（工作節(jié)點訊即 RPC[17]來實現層間的信息交互。 由三個層次組成：客戶端層、名稱節(jié)點層和數據節(jié)點層，基于集群，并可以通過增加附加集群節(jié)點擴展數據存儲規(guī)模，分布于taNode），并對文件塊進行備份存儲，由 Namenode（數據管理據塊將均衡地分布，建立高容錯性和保護機制，保證數據或節(jié)點使用，實時監(jiān)測數據和性能；如圖 2-1 所示。
【參考文獻】：
期刊論文
[1]使用虛擬機搭建Hadoop3.0集群安裝環(huán)境[J]. 楊云海,章芬芬. 現代信息科技. 2018(10)
[2]基于HTML5與物聯(lián)網技術的大數據中心機房智能管理系統(tǒng)[J]. 彭燦華,楊呈永,張玉斌. 實驗室研究與探索. 2018(04)
[3]基于HTML5的大數據可視化展示平臺設計與實踐[J]. 吳曉寧. 信息技術與標準化. 2018(04)
[4]大數據應用的現狀與展望[J]. 余聶芳. 數碼世界. 2017(12)
[5]工業(yè)大數據發(fā)展現狀及前景展望[J]. 范學軍. 現代電信科技. 2017(04)
[6]基于ASP.NET MVC6框架的Web應用開發(fā)研究[J]. 周寶昌. 電腦知識與技術. 2017(02)
[7]大數據流式計算:應用特征和技術挑戰(zhàn)[J]. 孫大為. 大數據. 2015(03)
[8]大數據平臺下的工業(yè)優(yōu)化——面向節(jié)能降耗的水泥生產優(yōu)化決策系統(tǒng)簡介[J]. 凡福林. 中國設備工程. 2015(06)
[9]面向智能電網應用的電力大數據關鍵技術[J]. 彭小圣,鄧迪元,程時杰,文勁宇,李朝暉,牛林. 中國電機工程學報. 2015(03)
[10]云平臺下輸變電設備狀態(tài)監(jiān)測大數據存儲優(yōu)化與并行處理[J]. 宋亞奇,周國亮,朱永利,李莉,王劉旺,王德文. 中國電機工程學報. 2015(02)
博士論文
[1]大數據處理技術與系統(tǒng)研究[D]. 顧榮.南京大學 2016
[2]面向PLM的數據挖掘技術和應用研究[D]. 徐河杭.浙江大學 2010
碩士論文
[1]基于Hadoop的女裝商品推薦系統(tǒng)設計與實現[D]. 虞樂文.華中科技大學 2018
[2]基于Hadoop的電子商務推薦系統(tǒng)的設計與實現[D]. 彭興.閩南師范大學 2016
[3]MES車間生產調度系統(tǒng)及其數據挖掘方法的研究[D]. 徐玉婷.南京航空航天大學 2007
本文編號：3548212
本文鏈接：http://www.sikaile.net/kejilunwen/ruanjiangongchenglunwen/3548212.html
