隨著移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展,每時(shí)每刻都有大量的數(shù)據(jù)產(chǎn)生,數(shù)據(jù)出現(xiàn)了爆炸式的增長(zhǎng),同時(shí)存儲(chǔ)設(shè)備變得越來(lái)越廉價(jià),然而面對(duì)海量的數(shù)據(jù),人們發(fā)現(xiàn)從中找到適合自己的信息越來(lái)越困難、需要花費(fèi)的時(shí)間也越來(lái)越長(zhǎng)。另一方面人工智能的興起,在交通領(lǐng)域提出了智能交通系統(tǒng)。而智能交通系統(tǒng)運(yùn)行的先決條件是擁有準(zhǔn)確、實(shí)時(shí)的交通流量預(yù)測(cè)系統(tǒng)。通過(guò)實(shí)時(shí)的交通流量預(yù)測(cè)系統(tǒng),預(yù)知未來(lái)幾分鐘到幾十分鐘的交通流量,可以提前通過(guò)交通信號(hào)燈和交通控制管理系統(tǒng)對(duì)路面交通狀況進(jìn)行調(diào)控,從而達(dá)到緩解擁堵,提高交通效率的目標(biāo)。因此在智能交通系統(tǒng)中,交通流量的精準(zhǔn)預(yù)測(cè)變得尤為關(guān)鍵。本文針對(duì)目前智能交通流量預(yù)測(cè)精準(zhǔn)性不高和存在延遲性的問(wèn)題,通過(guò)對(duì)相關(guān)原理進(jìn)行深入研究,實(shí)現(xiàn)了一種改進(jìn)算法,并且在Spark平臺(tái)上實(shí)現(xiàn)了分布式,提高了預(yù)測(cè)的精準(zhǔn)性和效率。首先,本文介紹了歷史交通數(shù)據(jù)的來(lái)源,對(duì)歷史交通數(shù)據(jù)進(jìn)行預(yù)處理。接著對(duì)路網(wǎng)進(jìn)行分析建模,提取預(yù)測(cè)道路的特征數(shù)據(jù),構(gòu)建特征向量空間,然后使用Python語(yǔ)言實(shí)現(xiàn)了多元線性回歸的算法來(lái)預(yù)測(cè)交通流量。最后本文研究了目前常用的智能交通流量模型,針對(duì)多元線性回歸算法和梯度下降算法進(jìn)行了改進(jìn),結(jié)合大數(shù)據(jù)處理技術(shù)S... 

【文章來(lái)源】：沈陽(yáng)理工大學(xué)遼寧省

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．１?ＨＤＦＳ架構(gòu)圖??Ｆｉｇ．２．１?ＨＤＦＳ?Ａｒｃｈｉｔｅｃｔｕｒｅ?Ｄｉａｇｒａｍ??

ＭａｐＲｅｄｕｃｅ過(guò)程中，采用的是分而治之的思想，大的任務(wù)和數(shù)據(jù)分成一個(gè)個(gè)小的??任務(wù)和數(shù)據(jù)，一個(gè)個(gè)小的任務(wù)和數(shù)據(jù)分片分別同時(shí)被許多個(gè)Ｍａｐ函數(shù)執(zhí)行，然后??再由ｒｅｄｕｃｅ匯總結(jié)果輸出，其執(zhí)行過(guò)程圖如圖２．２所示：??輸入數(shù)據(jù)?Ｍａｐ階段?Ｒｅｄｕｃｅｒ階段?輸出數(shù)據(jù)??數(shù)據(jù)分片?１?？?Ｍａｐｐｅｒ?１???????？?Ｒｅｄｕｃｅ?１?？輸出數(shù)據(jù)?１??數(shù)據(jù)分片?２?？?Ｍａｐｐｅｒ２??ｎ?＿＿?——??……???／?ｊＳ?Ｉ——？?Ｒｅｄｕｃｅ２——一輸出數(shù)據(jù)２??數(shù)據(jù)分片３?？?Ｍａｐｐｅｒ３?＾??圖２＿２?ＭａｐＲｅｄｕｃｅ的過(guò)程??Ｆｉｇ．２．２?ＭａｐＲｅｄｕｃｅ?ｐｒｏｃｅｓｓ??２．?１．２?Ｓｐａｒｋ?簡(jiǎn)介??Ｓｐａｒｋ最開(kāi)始是由ＵＣ?Ｂｅｒｋｅｌｅｙ?ＡＭＰ?Ｌａｂ實(shí)驗(yàn)室開(kāi)發(fā)的自己用來(lái)分布式計(jì)算軟??件，后來(lái)由Ａｐａｃｈｅ頂級(jí)開(kāi)源項(xiàng)目負(fù)責(zé)維護(hù)開(kāi)發(fā)，漸漸成為大數(shù)據(jù)領(lǐng)域的主流框架??［Ｍ。Ｓｐａｒｋ框架包含一個(gè)分布式計(jì)算引擎和一個(gè)專門(mén)的編程設(shè)計(jì)模型，其核心是采??用了基于內(nèi)存的計(jì)算方法，因此速度比Ｈａｄｏｏｐ快很多，特別是有迭代計(jì)算邏輯的??業(yè)務(wù)上Ｓｐａｒｋ的速度優(yōu)勢(shì)更加明顯，在Ｓｐａｒｋ的官網(wǎng)上更是著重申明最高可以比??Ｈａｄｏｏｐ快一百倍。目前，隨著Ｓｐａｒｋ的快速發(fā)展，Ｓｐａｒｋ生態(tài)圈日漸豐富，出現(xiàn)了??許多的子項(xiàng)目。Ｓｐａｒｋ家族中最具代表性的分支有四個(gè)，Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ用來(lái)進(jìn)行??流式計(jì)算類似于Ｆｌｕｍｅ速度很快、Ｓｐａｒｋ?ＧｒａｐｈＸ是用來(lái)進(jìn)行圖計(jì)算的、Ｓｐａｒｋ?ＭＬＬｉｂ??用于機(jī)器學(xué)習(xí)的

ＭａｐＲｅｄｕｃｅ過(guò)程中，采用的是分而治之的思想，大的任務(wù)和數(shù)據(jù)分成一個(gè)個(gè)小的??任務(wù)和數(shù)據(jù)，一個(gè)個(gè)小的任務(wù)和數(shù)據(jù)分片分別同時(shí)被許多個(gè)Ｍａｐ函數(shù)執(zhí)行，然后??再由ｒｅｄｕｃｅ匯總結(jié)果輸出，其執(zhí)行過(guò)程圖如圖２．２所示：??輸入數(shù)據(jù)?Ｍａｐ階段?Ｒｅｄｕｃｅｒ階段?輸出數(shù)據(jù)??數(shù)據(jù)分片?１?？?Ｍａｐｐｅｒ?１???????？?Ｒｅｄｕｃｅ?１?？輸出數(shù)據(jù)?１??數(shù)據(jù)分片?２?？?Ｍａｐｐｅｒ２??ｎ?＿＿?——??……???／?ｊＳ?Ｉ——？?Ｒｅｄｕｃｅ２——一輸出數(shù)據(jù)２??數(shù)據(jù)分片３?？?Ｍａｐｐｅｒ３?＾??圖２＿２?ＭａｐＲｅｄｕｃｅ的過(guò)程??Ｆｉｇ．２．２?ＭａｐＲｅｄｕｃｅ?ｐｒｏｃｅｓｓ??２．?１．２?Ｓｐａｒｋ?簡(jiǎn)介??Ｓｐａｒｋ最開(kāi)始是由ＵＣ?Ｂｅｒｋｅｌｅｙ?ＡＭＰ?Ｌａｂ實(shí)驗(yàn)室開(kāi)發(fā)的自己用來(lái)分布式計(jì)算軟??件，后來(lái)由Ａｐａｃｈｅ頂級(jí)開(kāi)源項(xiàng)目負(fù)責(zé)維護(hù)開(kāi)發(fā)，漸漸成為大數(shù)據(jù)領(lǐng)域的主流框架??［Ｍ。Ｓｐａｒｋ框架包含一個(gè)分布式計(jì)算引擎和一個(gè)專門(mén)的編程設(shè)計(jì)模型，其核心是采??用了基于內(nèi)存的計(jì)算方法，因此速度比Ｈａｄｏｏｐ快很多，特別是有迭代計(jì)算邏輯的??業(yè)務(wù)上Ｓｐａｒｋ的速度優(yōu)勢(shì)更加明顯，在Ｓｐａｒｋ的官網(wǎng)上更是著重申明最高可以比??Ｈａｄｏｏｐ快一百倍。目前，隨著Ｓｐａｒｋ的快速發(fā)展，Ｓｐａｒｋ生態(tài)圈日漸豐富，出現(xiàn)了??許多的子項(xiàng)目。Ｓｐａｒｋ家族中最具代表性的分支有四個(gè)，Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ用來(lái)進(jìn)行??流式計(jì)算類似于Ｆｌｕｍｅ速度很快、Ｓｐａｒｋ?ＧｒａｐｈＸ是用來(lái)進(jìn)行圖計(jì)算的、Ｓｐａｒｋ?ＭＬＬｉｂ??用于機(jī)器學(xué)習(xí)的

【參考文獻(xiàn)】：
期刊論文
[1]基于自適應(yīng)隨機(jī)梯度下降方法的非平衡數(shù)據(jù)分類[J]. 陶秉墨,魯淑霞.  計(jì)算機(jī)科學(xué). 2018(S1)
[2]基于Adaboost的改進(jìn)多元線性回歸算法中長(zhǎng)期負(fù)荷預(yù)測(cè)[J]. 楊胡萍,李輝.  太原理工大學(xué)學(xué)報(bào). 2017(05)
[3]網(wǎng)絡(luò)爬蟲(chóng)針對(duì)“反爬”網(wǎng)站的爬取策略研究[J]. 鄒科文,李達(dá),鄧婷敏,李嘉振,陳義明.  電腦知識(shí)與技術(shù). 2016(07)
[4]Python科學(xué)計(jì)算包在實(shí)驗(yàn)數(shù)據(jù)處理中的應(yīng)用[J]. 王振振.  計(jì)量技術(shù). 2015 (07)
[5]一種基于MapReduce的短時(shí)交通流預(yù)測(cè)方法[J]. 梁軻,譚建軍,李英遠(yuǎn).  計(jì)算機(jī)工程. 2015(01)
[6]智能交通系統(tǒng)綜述[J]. 趙娜,袁家斌,徐晗.  計(jì)算機(jī)科學(xué). 2014(11)
[7]基于MapReduce的多元線性回歸預(yù)測(cè)模型[J]. 代亮,許宏科,陳婷,錢(qián)超,梁殿鵬.  計(jì)算機(jī)應(yīng)用. 2014(07)
[8]車(chē)聯(lián)網(wǎng)大數(shù)據(jù)環(huán)境下的交通信息服務(wù)協(xié)同體系[J]. 段宗濤,康軍,唐蕾,樊娜,劉研,代記婷.  長(zhǎng)安大學(xué)學(xué)報(bào)(自然科學(xué)版). 2014(02)
[9]基于MapReduce的K-Medoids并行算法[J]. 張雪萍,龔康莉,趙廣才.  計(jì)算機(jī)應(yīng)用. 2013(04)
[10]MapReduce并行編程模型研究綜述[J]. 李建江,崔健,王聃,嚴(yán)林,黃義雙.  電子學(xué)報(bào). 2011(11)

博士論文
[1]城市道路網(wǎng)絡(luò)結(jié)構(gòu)分析及其對(duì)交通流的影響研究[D]. 趙玲.中南大學(xué) 2013
[2]多狀態(tài)下城市快速路網(wǎng)交通流短時(shí)預(yù)測(cè)理論與方法研究[D]. 董春嬌.北京交通大學(xué) 2011
[3]時(shí)空路網(wǎng)交通擁堵預(yù)測(cè)與疏導(dǎo)決策方法研究[D]. 任其亮.西南交通大學(xué) 2007

碩士論文
[1]基于Spark云計(jì)算平臺(tái)的城市交通流實(shí)時(shí)預(yù)測(cè)技術(shù)[D]. 寧洪波.廣東工業(yè)大學(xué) 2018
[2]基于神經(jīng)網(wǎng)絡(luò)的城市交通流量預(yù)測(cè)模型研究[D]. 張佳寧.廣東工業(yè)大學(xué) 2016
[3]基于神經(jīng)網(wǎng)絡(luò)模型的短時(shí)交通流預(yù)測(cè)及應(yīng)用研究[D]. 于亞男.太原理工大學(xué) 2015
[4]高速公路長(zhǎng)隧道出口段晝間照明優(yōu)化研究[D]. 林淼.長(zhǎng)安大學(xué) 2012
[5]短時(shí)交通流預(yù)測(cè)模型及預(yù)測(cè)方法的研究[D]. 高雅.華東師范大學(xué) 2011



本文編號(hào)：3300681