《中國(guó)制造2025》提出了建設(shè)制造業(yè)強(qiáng)國(guó)的目標(biāo),中國(guó)的制造業(yè)逐漸邁入智能制造時(shí)代。隨著智能制造的發(fā)展和信息化建設(shè)的普及,制造業(yè)企業(yè)的智能終端、傳感器和工業(yè)軟件在生產(chǎn)中會(huì)產(chǎn)生海量的業(yè)務(wù)數(shù)據(jù),這些海量的業(yè)務(wù)數(shù)據(jù)一般都具有大數(shù)據(jù)的基本特征,但是企業(yè)對(duì)這些工業(yè)大數(shù)據(jù)的存儲(chǔ)和計(jì)算都相對(duì)困難。同時(shí),在企業(yè)中信息化建設(shè)中,由于信息隔離、數(shù)據(jù)駁雜和標(biāo)準(zhǔn)不統(tǒng)一等原因,各個(gè)工業(yè)軟件間數(shù)椐隔離,在企業(yè)中產(chǎn)生了“信息孤島”現(xiàn)象�！靶畔⒐聧u”現(xiàn)象使得生產(chǎn)數(shù)據(jù)未得到充分整合和應(yīng)用,嚴(yán)重制約了以數(shù)據(jù)為驅(qū)動(dòng)的智能制造模式的發(fā)展。如何解決工業(yè)大數(shù)據(jù)的存儲(chǔ)與計(jì)算問(wèn)題,幫助企業(yè)消除“信息孤島”現(xiàn)象,從海量的數(shù)據(jù)中找到有價(jià)值的信息,在企業(yè)智能制造的發(fā)展中具有重要的意義。針對(duì)上述問(wèn)題,本文以制造業(yè)中倉(cāng)儲(chǔ)業(yè)務(wù)為例進(jìn)行研究,采用大數(shù)據(jù)+數(shù)據(jù)倉(cāng)庫(kù)的方式對(duì)倉(cāng)儲(chǔ)歷史訂單數(shù)據(jù)進(jìn)行處理和分析,主要解決數(shù)據(jù)存儲(chǔ)、計(jì)算困難和數(shù)據(jù)不互通的問(wèn)題。設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Spark+Impala的分布式數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng),對(duì)制造業(yè)倉(cāng)儲(chǔ)業(yè)務(wù)的相關(guān)數(shù)據(jù)進(jìn)行統(tǒng)一處理,最后利用數(shù)據(jù)挖掘和可視化技術(shù)將工業(yè)軟件中的數(shù)據(jù)進(jìn)行應(yīng)用,解決倉(cāng)庫(kù)貨位擺放的問(wèn)題,實(shí)現(xiàn)工業(yè)軟件中數(shù)據(jù)的... 

【文章來(lái)源】：南昌大學(xué)江西省 211工程院校

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．１?Ｋｉｍｂａ丨１的ＤＷ／Ｂ卜架構(gòu)模銷??

ｌｌ資源。丨ｆｌ］?Ｗｏｒｋｅｒ主要負(fù)ｋ：力ＥｘｅｃｕＵ）ｒ?（執(zhí)彳ｊ？器）外為Ｋｘｅｃｕｔｏｒ分Ｗ資??源。Ｓｐａ丨？！＜：?ｏｎ?Ｙａｍ?足?Ｓｐａｒｋ?堪于?Ｙａｒｎ?的運(yùn)汗？?Ｓｐａｒｋ?ｏｎ?Ｙａｒｎ?丨丨丨，由?Ｙａｒｎ??的?ＲｅｓｏｕｒｃｅＭａｎａｇｅｉ．?ｆ々代?Ｍａｓｔｅｒ，ＮｏｄｅＭａｎａｇｅｒ?ｆ々代?Ｗｏｒｋｅｒ，、義：現(xiàn)?ｆ?資源的統(tǒng)？??管理。??無(wú)論是哪種形式，它們都有？致的架構(gòu)模式；，都是ｆｆｉ?ｒＭａｓｔｅｒ／Ｓｌａｖｅｓ的主從??架構(gòu)。它們的架構(gòu)如圖２．３所不。?????Ｄｒｉｖｅｒ??Ｃｌｉｅｎｔ??？??ＳｐａｒｋＣｏｎｔｅｘｔ?，??ｖ??Ｙａｒｎ／Ｓｔａｎｄａ?ｏｎｅ等集Ｉ２冒逗器???＾??節(jié)點(diǎn)１?芳點(diǎn)２?節(jié)點(diǎn)３??Ｅｘｅｃｕｔｏｒ?Ｅｘｅｃｕｔｏｒ?Ｅｘｅｃｕｔｏｒ??Ｔａｓｋ?Ｔａｓｋ?�。幔螅�??Ｔａｓｋ?Ｔａｓｋ?Ｔａｓｋ??圖２．３?Ｓｐａｒｋ架構(gòu)模型圖??符先山Ｃｌｉｅｎｔ向集群提交任務(wù)，集群中的坫？個(gè)節(jié)點(diǎn)運(yùn)行該程序汴成為該??務(wù)的丨）ｒｉｖｅｒ?（�。覄�(dòng)器），之）５交山（ｌｕｓｔｅｒ?Ｍａｎａｇｅｒ?（Ｕ、丨丨丫丨器）ｊ射ｒｆ「：務(wù)、資??源的分配和節(jié)點(diǎn)的監(jiān)拽。在集群的每？個(gè)節(jié)點(diǎn)中都存彳１：?＿個(gè)丨Ｅｘｅｃｕｔｏｒ，｜〖１丨Ｅｘｅｃｕｔｏｒ??是計(jì)算住務(wù)實(shí)際的執(zhí)行者，負(fù)貴ｉ丨黨程序，１（１濃毎個(gè)Ｅｘｅｃｕｔｏｒ屮存／Ｉ：?？個(gè)或??１３??

?第３章ＥＴＬ系統(tǒng)的設(shè)計(jì)???（２）通過(guò)Ｃｌｉｅｎｔ提交的Ｋｅｔｔｌｅ腳本，Ｋｅｔｔｌｅ集群執(zhí)行編輯好的ＥＴＬ過(guò)程，??最后把ＥＴＬ過(guò)程的結(jié)果輸出到ＯＤＳ數(shù)據(jù)庫(kù)中，作為數(shù)據(jù)緩存。??（３）在一定時(shí)間期限后，Ｃｌｉｅｎｔ開(kāi)始執(zhí)行Ｓｑｏｏｐ腳本，利用Ｓｑｏｏｐ抽�。希模�??數(shù)據(jù)庫(kù)中的數(shù)據(jù)，該步驟使用多線程操作，以提高效率。??（４）數(shù)據(jù)抽取完成后加載到數(shù)據(jù)倉(cāng)庫(kù)中，即分布式文件系統(tǒng)ＨＤＦＳ中，隨??后關(guān)閉輸出流和應(yīng)用程序。??ＨＤＦＳ?Ｉ??＇Ｔ＂＂＇?Ｔ￣?ｌｉ，??Ｓｑｏｏｐ?Ｉ??ＯＤＳ??：…?ｆ?ｓ??ｆ?ｆ?ｆ??！?ｋｅｔｔｌｅ?Ｉ?！?ｋｅｔｔｌｅ?Ｉ?ｊ?ｋｅｔｔｌｅ?１??ｌ?１?ｉ?ｉ?［?ｉ??ｆ??圖３．１分布式ＥＴＬ架構(gòu)模型圖??３．３分布式ＥＴＬ系統(tǒng)的模型設(shè)計(jì)??數(shù)據(jù)的ＥＴＬ過(guò)程是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)至關(guān)重要的－步，主要用于從源事務(wù)系統(tǒng)??２２??

【參考文獻(xiàn)】：
期刊論文
[1]基于MapReduce和Spark的大數(shù)據(jù)主動(dòng)學(xué)習(xí)比較研究[J]. 翟俊海,齊家興,沈矗,宋丹丹,王謨瀚,田石.  計(jì)算機(jī)工程與科學(xué). 2019(10)
[2]智能數(shù)據(jù)管理與分析技術(shù)�？把訹J]. 樊文飛,王國(guó)仁,王朝坤.  軟件學(xué)報(bào). 2019(03)
[3]工業(yè)智能網(wǎng)——工業(yè)互聯(lián)網(wǎng)的深化與升級(jí)[J]. 張平,劉會(huì)永,李文璟,周凡欽.  通信學(xué)報(bào). 2018(12)
[4]面向服務(wù)的智能制造[J]. 陶飛,戚慶林.  機(jī)械工程學(xué)報(bào). 2018(16)
[5]生命周期大數(shù)據(jù)驅(qū)動(dòng)的復(fù)雜產(chǎn)品智能制造服務(wù)新模式研究[J]. 任杉,張映鋒,黃彬彬.  機(jī)械工程學(xué)報(bào). 2018(22)
[6]工業(yè)大數(shù)據(jù)分析技術(shù)的發(fā)展及其面臨的挑戰(zhàn)[J]. 何文韜,邵誠(chéng).  信息與控制. 2018(04)
[7]工業(yè)互聯(lián)網(wǎng)的體系框架與關(guān)鍵技術(shù)——解讀《工業(yè)互聯(lián)網(wǎng):體系與技術(shù)》[J]. 夏志杰.  中國(guó)機(jī)械工程. 2018(10)
[8]MapReduce與Spark用于大數(shù)據(jù)分析之比較[J]. 吳信東,嵇圣硙.  軟件學(xué)報(bào). 2018(06)
[9]全面實(shí)現(xiàn)數(shù)字化是通向智能制造的必由之路——解讀《智能制造之路:數(shù)字化工廠》[J]. 唐堂,滕琳,吳杰,陳明.  中國(guó)機(jī)械工程. 2018(03)
[10]對(duì)工業(yè)4.0背景下的智能制造的回顧[J]. 鐘潤(rùn)陽(yáng),徐旬,Eberhard Klotz,Stephen T.Newman.  Engineering. 2017(05)

碩士論文
[1]基于關(guān)聯(lián)規(guī)則的貨位分配和訂單分批優(yōu)化研究[D]. 李亞芳.北京交通大學(xué) 2019
[2]非傳統(tǒng)布局倉(cāng)儲(chǔ)貨位分配與揀選作業(yè)優(yōu)化研究[D]. 胡穎聰.南昌大學(xué) 2019
[3]分布式數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)研究[D]. 張永福.南京郵電大學(xué) 2016
[4]基于Hadoop的非結(jié)構(gòu)化文本數(shù)據(jù)ETL系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 習(xí)云峰.中國(guó)科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院) 2016
[5]基于Spark的數(shù)據(jù)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 劉鵬.浙江大學(xué) 2016



本文編號(hào)：3106733