【摘要】：現(xiàn)有的《易制毒化學(xué)品信息監(jiān)管系統(tǒng)》每天產(chǎn)生大量交易申報(bào)記錄,傳統(tǒng)的集中式數(shù)據(jù)分析方式無法適應(yīng)于實(shí)時(shí)分析需求,存在分析結(jié)論有限、時(shí)間延遲高等問題。全面應(yīng)用大數(shù)據(jù)的相關(guān)技術(shù)和資源,是提升監(jiān)管部門監(jiān)管能力的有效手段,有助于監(jiān)管部門全面搜集與應(yīng)用易制毒化學(xué)品交易數(shù)據(jù),為精確的掌握市場(chǎng)的動(dòng)態(tài)需求提供了可能。本文針對(duì)易制毒化學(xué)品海量數(shù)據(jù)實(shí)時(shí)處理問題和行業(yè)內(nèi)對(duì)于易制毒化學(xué)品價(jià)格預(yù)測(cè)的實(shí)際需求,設(shè)計(jì)并實(shí)現(xiàn)了一套基于Spark的數(shù)據(jù)分析系統(tǒng),該系統(tǒng)即可以根據(jù)實(shí)時(shí)交易數(shù)據(jù)對(duì)易制毒化學(xué)品的交易情況進(jìn)行實(shí)時(shí)分析;也能夠?qū)σ字贫净瘜W(xué)品的價(jià)格進(jìn)行短期預(yù)測(cè)。采用大數(shù)據(jù)生態(tài)圈內(nèi)的較為流行的技術(shù)方案如Kafka,Flume等,降低了系統(tǒng)開發(fā)和維護(hù)的復(fù)雜性,為進(jìn)一步的業(yè)務(wù)拓展奠定了基礎(chǔ)。本文主要工作如下:(1)設(shè)計(jì)并實(shí)現(xiàn)了基于Spark的《易制毒化學(xué)品數(shù)據(jù)分析系統(tǒng)》,主要包括ETL模塊、數(shù)據(jù)分析模塊和可視化模塊。能夠?qū)碜远嗍∈械囊字贫净瘜W(xué)品交易數(shù)據(jù)進(jìn)行實(shí)時(shí)采集,對(duì)采集來的數(shù)據(jù)進(jìn)行清洗、統(tǒng)計(jì)、存儲(chǔ)等工作,方便用戶查詢易制毒化學(xué)品實(shí)時(shí)交易情況。(2)針對(duì)易制毒化學(xué)品業(yè)務(wù)中可能存在的實(shí)時(shí)數(shù)據(jù)流峰值情況,結(jié)合反壓機(jī)制,對(duì)數(shù)據(jù)流批次間隔的調(diào)整提出了優(yōu)化策略,解決了短時(shí)負(fù)載高峰導(dǎo)致系統(tǒng)延遲過高的問題。(3)針對(duì)企業(yè)和監(jiān)管部門希望能夠?qū)σ字贫净瘜W(xué)品的價(jià)格進(jìn)行短期預(yù)測(cè)的實(shí)際需求,本文應(yīng)用Spark ML機(jī)器學(xué)習(xí)庫(kù),對(duì)常用的三種回歸分析算法進(jìn)行了實(shí)驗(yàn),并對(duì)結(jié)果進(jìn)行了對(duì)比,以均方誤差為評(píng)價(jià)指標(biāo),選取了保序回歸算法為本系統(tǒng)價(jià)格預(yù)測(cè)的算法。
【圖文】：

高效的計(jì)算工具，包含用作 SQL 與結(jié)構(gòu)化數(shù)據(jù)操作的 Spark SQL、用于機(jī)器學(xué)習(xí)的ib、用于圖形處理的 GraphX 和 Spark Streaming。Spark 通常用來構(gòu)建大型的低延據(jù)分析系統(tǒng)，處理場(chǎng)景主要包括復(fù)雜的批量處理和實(shí)時(shí)數(shù)據(jù)流的數(shù)據(jù)處理。Spark 創(chuàng)建目的是為了更好地支持分布式數(shù)據(jù)集上的迭代計(jì)算，也是對(duì) Hadoop 的補(bǔ)Spark 可以在 Hadoop 分布式文件系統(tǒng)中并行運(yùn)行，Spark 與 Hadoop MapReduce 類但相較于 MapReduce，Spark 是基于內(nèi)存的并行大數(shù)據(jù)框架，這樣它的處理輸出結(jié)以直接保存在內(nèi)存之中，因此 Spark 更適合需要使用數(shù)據(jù)迭代的場(chǎng)景，例如數(shù)據(jù)挖機(jī)器學(xué)習(xí)等，另外 MapReduce 總是消耗大量的時(shí)間排序，而 Spark 能夠避免不必要序，減少系統(tǒng)的開銷。Hadoop 提供了 map 和 reduce 兩種處理數(shù)據(jù)的接口，，而 Spa函數(shù)式編程范式支持更多對(duì)數(shù)據(jù)處理的接口。Spark 作為大數(shù)據(jù)應(yīng)用領(lǐng)域的熱門技術(shù)之一，具有實(shí)時(shí)數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等復(fù)雜方式，是如今大數(shù)據(jù)實(shí)時(shí)處理和分析技術(shù)中不可或缺的一部分。圖 2.1 為 Spark 生主要技術(shù)。

Mesos 作為資源調(diào)度的模式，通過調(diào)動(dòng) Job（SparkContext 提交的具體 Action操作）實(shí)現(xiàn) Spark 功能程序的運(yùn)算，這類功能程序可選自各類組件， Spark Submit 批處理模式、Spark Streaming 實(shí)時(shí)處理功能、Spark SQL 的架構(gòu)化數(shù)據(jù)互操作、BlinkDB 的權(quán)衡查詢、機(jī)器學(xué)習(xí) MLlib、圖計(jì)算 GraphX 和 SparkR 的數(shù)學(xué)計(jì)算等。Spark 具有高可伸縮性、高容錯(cuò)性和基于內(nèi)存計(jì)算等特性。2.1.2 集群模型Spark 在分布式環(huán)境中采用主從結(jié)構(gòu)，集群中由驅(qū)動(dòng)器節(jié)點(diǎn)負(fù)責(zé)協(xié)調(diào)各個(gè)節(jié)點(diǎn)，稱為Driver，Driver程序負(fù)責(zé)啟動(dòng)多個(gè)Worker節(jié)點(diǎn)，Worker節(jié)點(diǎn)也稱為執(zhí)行器節(jié)點(diǎn)，Worker節(jié)點(diǎn)從文件系統(tǒng)加載數(shù)據(jù)并產(chǎn)生 RDD（RDD 是用來存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，Spark 的操作基于 RDD），同時(shí)按照不同的分區(qū) Cache 到內(nèi)存中，圖 2.2 表示 Spark 運(yùn)行步驟。
【學(xué)位授予單位】：河北師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TQ072;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊盛平;;將易制毒化學(xué)品管理重點(diǎn)落到流通領(lǐng)域[J];上�；�;2019年02期

2 趙云飛;;易制毒化學(xué)品查緝管控的難點(diǎn)和對(duì)策[J];云南警官學(xué)院學(xué)報(bào);2017年06期

3 陸建東;;上海市發(fā)布易制毒化學(xué)品管理現(xiàn)狀調(diào)研報(bào)告[J];上海化工;2018年01期

4 聞?wù)?;五種化學(xué)制劑列入易制毒化學(xué)品目錄[J];上�；�;2018年01期

5 張秀鳳;;上海發(fā)布首份易制毒化學(xué)品報(bào)告[J];中國(guó)石油和化工;2018年02期

6 楊盛平;;強(qiáng)化易制毒化學(xué)品管理要形成聯(lián)勤聯(lián)動(dòng)機(jī)制[J];上海化工;2018年04期

7 ;加強(qiáng)易制毒化學(xué)品監(jiān)管必須做到 盯緊四要素 抓住八環(huán)節(jié) 落實(shí)四措施[J];上�；�;2018年07期

8 周亞賓;華進(jìn);陳彤;李洪軍;賀稚非;;規(guī)范高校易制毒化學(xué)品安全管理的對(duì)策研究[J];西南師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2018年10期

9 楊平;;非法進(jìn)出口易制毒化學(xué)品案件偵防對(duì)策研究——以國(guó)際核查為視角[J];犯罪研究;2018年05期

10 ;發(fā)揮信息技術(shù)優(yōu)勢(shì) 杭州新銳信息公司為易制毒化學(xué)品管理提供信息服務(wù)[J];上�；�;2016年12期

相關(guān)會(huì)議論文 前8條

1 耿瑩瑩;李亞飛;劉湘祁;王紅球;易裕民;;便攜式拉曼光譜儀在毒品和易制毒化學(xué)品快速檢測(cè)中的應(yīng)用[A];第十七屆全國(guó)光散射學(xué)術(shù)會(huì)議摘要文集[C];2013年

2 尹小丹;李文君;;化學(xué)與易制毒化學(xué)品[A];中國(guó)化學(xué)會(huì)第二十五屆學(xué)術(shù)年會(huì)論文摘要集（下冊(cè)）[C];2006年

3 姚依妍;;淺談化學(xué)知識(shí)在易制毒化學(xué)品查緝中的運(yùn)用[A];公共安全中的化學(xué)問題研究進(jìn)展（第三卷）[C];2013年

4 李金璐;;試論易制毒化學(xué)品犯罪的防控對(duì)策[A];公共安全中的化學(xué)問題研究進(jìn)展（第二卷）[C];2011年

5 李文君;聶鵬;;化學(xué)與禁毒[A];中國(guó)化學(xué)會(huì)第26屆學(xué)術(shù)年會(huì)化學(xué)與社會(huì)論壇論文集[C];2008年

6 李佳;黃迎;徐雯麗;胡靜;蔣舒仰;凌敏;姚建華;;易制毒化學(xué)品信息管理的策略[A];公共安全中的化學(xué)問題研究進(jìn)展（第三卷）[C];2013年

7 劉嵩巖;;我國(guó)易制毒化學(xué)品管控體系建設(shè)研究[A];公共安全中的化學(xué)問題研究進(jìn)展（第三卷）[C];2013年

8 李佳;姚建華;;苯丙胺類化學(xué)品合成反應(yīng)理論研究[A];中國(guó)化學(xué)會(huì)第29屆學(xué)術(shù)年會(huì)摘要集——第29分會(huì)：公共安全化學(xué)[C];2014年

相關(guān)重要報(bào)紙文章 前10條

1 記者 賴婉瑩;強(qiáng)化企業(yè)職工與學(xué)校師生防御毒品能力[N];東莞日?qǐng)?bào);2018年

2 國(guó)家禁毒辦;中歐易制毒化學(xué)品管制合作雙邊會(huì)在比利時(shí)召開[N];中國(guó)禁毒報(bào);2019年

3 浙江省禁毒委員會(huì)副主任 省公安廳黨委委員、副廳長(zhǎng) 政治部主任 劉靜;積極構(gòu)建全要素監(jiān)管制毒物品體系[N];人民公安報(bào);2019年

4 本報(bào)記者 宋米亞;全國(guó)人大代表魏春：加強(qiáng)易制毒化學(xué)品行政監(jiān)管和綜合治理[N];中國(guó)禁毒報(bào);2019年

5 記者 鄔春陽(yáng);中國(guó)歐盟共同研討進(jìn)一步強(qiáng)化易制毒化學(xué)品管制合作[N];人民公安報(bào);2017年

6 ;中國(guó)歐盟在廣東佛山研討進(jìn)一步強(qiáng)化易制毒化學(xué)品管制合作[N];中國(guó)禁毒報(bào);2017年

7 通訊員 李全棟;山東強(qiáng)化易制毒化學(xué)品列管監(jiān)管[N];中國(guó)禁毒報(bào);2018年

8 蘇公瑾;南京市部署推進(jìn)易制毒化學(xué)品管制工作[N];中國(guó)禁毒報(bào);2018年

9 張媛 楊佳林 記者 謝麗勛;繳毒2.4噸、易制毒化學(xué)品104噸[N];中國(guó)邊防警察報(bào);2018年

10 肖林 本報(bào)記者 謝麗勛;滇粵大追捕[N];中國(guó)邊防警察報(bào);2018年

相關(guān)博士學(xué)位論文 前1條

1 郝冬婕;毒品犯罪的現(xiàn)代發(fā)展與防控對(duì)策研究[D];大連海事大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 李涵碩;基于Spark的易制毒化學(xué)品數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];河北師范大學(xué);2019年

2 成成;易制毒化學(xué)品管制研究[D];云南大學(xué);2017年

3 何芳;我國(guó)制毒物品相關(guān)行為的刑法應(yīng)對(duì)研究[D];江西財(cái)經(jīng)大學(xué);2019年

4 張睿杰;易制毒化學(xué)品交易行為分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];河北師范大學(xué);2018年

5 劉章銘;易制毒化學(xué)品供應(yīng)商推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];河北師范大學(xué);2018年

6 張秀麗;基于數(shù)據(jù)倉(cāng)庫(kù)的易制毒化學(xué)品分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];河北師范大學(xué);2018年

7 陸W

本文編號(hào)：2704740