本文關(guān)鍵詞：霧霾與氣象要素數(shù)據(jù)流間的關(guān)聯(lián)性挖掘及應(yīng)用研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：霧霾已經(jīng)在氣候、環(huán)境、健康、經(jīng)濟(jì)等方面造成顯著的負(fù)面影響。霧霾的形成和演化有它自身的機(jī)理和規(guī)律,不同的地區(qū),城市霧霾的形成原因、表現(xiàn)形式都不相同,如今對霧霾的科學(xué)認(rèn)識仍不系統(tǒng)、完整,究其原因是沒有對霧霾進(jìn)行透徹地感知、認(rèn)知和充分地分析。霧霾的演化與氣象要素間有著密切的關(guān)系,由于氣象部門達(dá)到了較高的信息化程度,積累了大量氣象相關(guān)的數(shù)據(jù),因此,利用數(shù)據(jù)挖掘的關(guān)聯(lián)性理論方法可從中發(fā)現(xiàn)霧霾與氣象要素間的規(guī)律,從而提高霧霾預(yù)報預(yù)測的準(zhǔn)確率,指導(dǎo)人們的生產(chǎn)生活。本文首先對數(shù)據(jù)挖掘方法在國內(nèi)外的研究現(xiàn)狀進(jìn)行了匯總,并對數(shù)據(jù)挖掘在氣象分析方面的應(yīng)用進(jìn)行深入研究,詳細(xì)分析了霧霾和氣象的相關(guān)知識及國內(nèi)外的相關(guān)研究現(xiàn)狀。其次,對關(guān)聯(lián)規(guī)則挖掘的經(jīng)典算法Apriori的相關(guān)理論、實現(xiàn)流程及優(yōu)缺點進(jìn)行了分析;對云計算的相關(guān)理論及目前較流行的大數(shù)據(jù)處理平臺Spark進(jìn)行了概述;對霧霾的相關(guān)知識進(jìn)行了介紹,并且分析了氣象要素對霧霾的影響。在此基礎(chǔ)上,針對大數(shù)據(jù)提出了一種基于Spark的關(guān)聯(lián)規(guī)則挖掘算法AMRDD(Apriori Matrix Resilient Distributed Datasets),該算法將頻繁項集用矩陣表示,基于HDFS存儲,利用局部剪枝和全局剪枝原理,縮減了候選頻繁項集的數(shù)量,利用Spark基于內(nèi)存的計算,提高了時間效率。最后,將該算法應(yīng)用于霧霾與氣象要素間的相關(guān)性研究。構(gòu)建霧霾與氣象要素數(shù)據(jù)流間的關(guān)聯(lián)性分析平臺測試本文提出的AMRDD算法的性能及在霧霾研究方面的應(yīng)用,使用3臺實體機(jī)組成的局域網(wǎng)搭建了Spark平臺,實現(xiàn)AMRDD算法。并分別用2013年10月到2015年10月的北京、長春、石家莊三個城市的氣象資料數(shù)據(jù)集作為測試數(shù)據(jù)。實驗結(jié)果表明,與傳統(tǒng)的方法得出的結(jié)論是一致的,表明了該算法適用于霧霾與氣象要素相關(guān)性方面的研究。同時,用隨機(jī)生成的大數(shù)據(jù)集對算法進(jìn)行了實驗,AMRDD算法與傳統(tǒng)的Apriori算法和在Hadoop上實現(xiàn)的Apriori算法相比,在大數(shù)據(jù)分析方面該算法時間效率明顯提高。
【關(guān)鍵詞】：霧霾 大數(shù)據(jù)分析 關(guān)聯(lián)規(guī)則 Apriori算法
【學(xué)位授予單位】：長春工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：X51;TP311.13
【目錄】：

• 摘要3-4
• Abstract4-7
• 第一章 緒論7-11
• 1.1 課題的研究背景及意義7
• 1.2 數(shù)據(jù)挖掘研究現(xiàn)狀7-9
• 1.3 數(shù)據(jù)挖掘在氣象領(lǐng)域的應(yīng)用9
• 1.4 本文研究目標(biāo)及研究內(nèi)容9-10
• 1.5 本文的結(jié)構(gòu)安排10-11
• 第二章 關(guān)聯(lián)規(guī)則挖掘與云計算11-18
• 2.1 關(guān)聯(lián)規(guī)則挖掘技術(shù)基本概念11
• 2.2 典型頻繁項集挖掘算法Apriori算法11-13
• 2.2.1 Apriori算法基本過程11-12
• 2.2.2 Apriori算法描述12-13
• 2.3 垂直數(shù)據(jù)格式挖掘算法13-15
• 2.4 云計算15
• 2.5 Spark簡介15-16
• 2.6 國內(nèi)外研究現(xiàn)狀16-17
• 2.7 本章小結(jié)17-18
• 第三章 霧霾與氣象要素18-23
• 3.1 霧霾相關(guān)知識18-19
• 3.1.1 霧霾的形成機(jī)理18-19
• 3.1.2 霧霾的危害19
• 3.2 源解析19-20
• 3.3 氣象要素對霧霾的影響20-21
• 3.4 國內(nèi)外研究現(xiàn)狀21-22
• 3.5 本章小結(jié)22-23
• 第四章 基于Spark的AMRDD算法23-29
• 4.1 引言23
• 4.2 相關(guān)概念23-24
• 4.3 AMRDD算法基本思想24-26
• 4.4 算法描述26-27
• 4.5 算法運行實例27-28
• 4.6 本章小結(jié)28-29
• 第五章 霧霾與氣象要素的關(guān)聯(lián)性分析29-41
• 5.1 霧霾與氣象要素相關(guān)性分析系統(tǒng)29
• 5.2 氣象數(shù)據(jù)處理流程29-35
• 5.2.1 數(shù)據(jù)來源29-30
• 5.2.2 霧霾及氣象數(shù)據(jù)的特點30
• 5.2.3 數(shù)據(jù)選取30-32
• 5.2.4 數(shù)據(jù)預(yù)處理32-33
• 5.2.5 數(shù)據(jù)離散化33-35
• 5.3 實驗環(huán)境35-36
• 5.4 實驗結(jié)果分析36-40
• 5.4.1 氣象數(shù)據(jù)實驗結(jié)果分析36-38
• 5.4.2 模擬大數(shù)據(jù)實驗結(jié)果分析38-40
• 5.5 本章小結(jié)40-41
• 第六章 結(jié)論與展望41-42
• 6.1 結(jié)論41
• 6.2 展望41-42
• 致謝42-43
• 參考文獻(xiàn)43-46
• 作者簡介46
• 攻讀碩士學(xué)位期間研究成果46

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 周江;;啤酒銷售量與氣象要素影響因素的動態(tài)分析[J];中國集體經(jīng)濟(jì);2011年27期

2 段麗瑤;白玉榮;吳振鈴;;天津地區(qū)氣象要素與花粉濃度的關(guān)系[J];城市環(huán)境與城市生態(tài);2008年04期

3 周兆媛;張時煌;高慶先;李文杰;趙凌美;馮永恒;徐明潔;施蕾蕾;;京津冀地區(qū)氣象要素對空氣質(zhì)量的影響及未來變化趨勢分析[J];資源科學(xué);2014年01期

4 汪洋,黃鑫貽,姜元華,肖沛琳,周瑜平;重慶市中區(qū)霧及有關(guān)氣象要素對人群健康影響的初步研究[J];環(huán)境與健康雜志;1989年02期

5 王鵬飛 ,王偉;淺談氣象要素與火險的關(guān)系[J];山東消防;2003年04期

6 顧瑩;束炯;;上海城市化對氣象要素和臭氧濃度的影響[J];環(huán)境污染與防治;2010年05期

7 李超平;;氣象要素延長訂正方法探討[J];鋼鐵技術(shù);2002年05期

8 周賀玲;秦云苗;孫藝桃;;河北廊坊地區(qū)霾天氣特征分析[J];中國人口.資源與環(huán)境;2014年S2期

9 隋珂珂;王自發(fā);楊軍;謝付瑩;趙越;;北京PM_(10)持續(xù)污染及與常規(guī)氣象要素的關(guān)系[J];環(huán)境科學(xué)研究;2007年06期

10 劉啟;尤莉;陳勇梅;李偉東;;1953-2009年林西站氣象要素變化分析[J];北方環(huán)境;2011年06期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 謝靜芳;秦元明;王寶書;趙立民;;氣象環(huán)境對疾病的影響及氣象要素與發(fā)病率相關(guān)特征分析[A];新世紀(jì)氣象科技創(chuàng)新與大氣科學(xué)發(fā)展——中國氣象學(xué)會2003年年會“城市氣象與科技奧運”分會論文集[C];2003年

2 張曉云;于世北;張忠琴;張穎;郭軍;;意外中毒與氣象要素的相關(guān)性分析[A];中國氣象學(xué)會2005年年會論文集[C];2005年

3 吳子良;;景德鎮(zhèn)市負(fù)離子含量特征及與氣象要素的關(guān)系[A];第26屆中國氣象學(xué)會年會第三屆氣象綜合探測技術(shù)研討會分會場論文集[C];2009年

4 韓世剛;;重慶地震震前氣象要素異常特征分析[A];中國科學(xué)技術(shù)協(xié)會2008防災(zāi)減災(zāi)論壇論文集[C];2008年

5 俞劍蔚;陳曲;嚴(yán)文蓮;;南京霾日氣象要素的特征分析及預(yù)報方法初探[A];第五屆長三角氣象科技論壇論文集[C];2008年

6 于秀麗;吳明華;任淑玲;吳欽高;;大興安嶺地區(qū)空氣中花粉含量與氣象要素的關(guān)系初探[A];中華醫(yī)學(xué)會2009年全國變態(tài)反應(yīng)學(xué)術(shù)會議論文匯編[C];2009年

7 李青春;丁德平;王力;;2007年奧運會開幕式期間國家體育場(鳥巢)氣象要素觀測分析[A];中國氣象學(xué)會2007年年會氣象綜合探測技術(shù)分會場論文集[C];2007年

8 力梅;張麗;李磊;;深圳30年氣象要素星期效應(yīng)特征分析及相關(guān)性研究[A];S7 氣候環(huán)境變化與人體健康[C];2012年

9 彭艷;張宏升;S-U Park;Y-S Chun;M-S Park;趙明旭;張宏偉;王金祥;;渾善達(dá)克沙地地區(qū)近地面層氣象要素變化特征[A];推進(jìn)氣象科技創(chuàng)新加快氣象事業(yè)發(fā)展——中國氣象學(xué)會2004年年會論文集（下冊）[C];2004年

10 王開燕;王雪梅;張仁健;朱建軍;;北京市冬季氣象要素對氣溶膠濃度日變化的影響分析[A];中國氣象學(xué)會2007年年會大氣成分觀測、研究與預(yù)報分會場論文集[C];2007年

中國重要報紙全文數(shù)據(jù)庫 前5條

1 翟峰;注重把環(huán)境氣象要素引入規(guī)劃中[N];中國建設(shè)報;2010年

2 翟峰;要把環(huán)境氣象要素引入城市規(guī)劃[N];中國環(huán)境報;2010年

3 記者 馬靜t

本文編號：251966