本文關鍵詞： 移動云計算 Spark框架 路網評估 優(yōu)化遺傳算法 并發(fā)服務器　出處：《南京大學》2014年碩士論文　論文類型：學位論文

【摘要】：當前,交通監(jiān)測數據日趨龐雜,路網監(jiān)測評估與數據處理發(fā)布己逐步采取了一系列的手段,而城市交通問題仍日益突出。其癥結之一,在于如何高效地處理海量交通數據,實時分析、挖掘、調用,為駕乘提供必要的信息服務[¨。論文依托省科技廳《公路交通傳感網信息檢測·挖掘·匯聚·發(fā)布與輔助決策示范系統》示范工程項目,介紹了國內外智能交通系統中移動采集技術及云計算技術的應用現狀,分析了在移動云環(huán)境中傳輸和處理海量交通數據的難點。提出了移動云環(huán)境中的優(yōu)化負載均衡策略,建立了預測評估移動監(jiān)測數據模型,及其實時數據處理平臺,并予路網仿真驗證。就流媒體傳輸需要占用大量帶寬,傳統流媒體服務器無法提供高并發(fā)量服務的難題,提出了基于Reactor模型的流媒體服務器架構,克服了傳統多線程模型面臨的線程調度開銷及同步死鎖問題,并采用基于網絡狀況的自適應緩存機制,實現了云環(huán)境中實時穩(wěn)定的流媒體服務。就移動云環(huán)境中資源利用率不平衡問題提出了基于優(yōu)化遺傳算法的負載均衡策略。通過采用多目標的適應度函數及自適應的交叉變異算子,解決了傳統調度策略收斂速度慢、易于陷入局部收斂等問題,契合了移動云環(huán)境中的資源異質性和動態(tài)性特征。就海量交通數據的實時分析和處理問題,基于Spark框架構建了分布式云平臺,通過使用基于內存的分布式系統實現海量數據的實時處理,克服了傳統框架無法進行實時任務的問題,采用EM算法分析移動設備采集的GPS數據,對路網狀況進行實時評估和預測,并通過web接口進行發(fā)布。綜上,論文研究成果具有重要的理論意義和應用價值。其創(chuàng)新點在于：1)針對基于多線程模型的服務器所面臨的進程調度開銷及同步死鎖問題,采用了基于Reactor模型的I/O復用方式提供高并發(fā)服務。2)針對移動云平臺中的資源利用率低的問題,優(yōu)化了傳統遺傳算法,實現動態(tài)負載均衡,克服了移動云環(huán)境中計算資源的異質性和動態(tài)性問題。3)基于Spark框架實現了海量交通數據實時處理集群,通過構建基于內存的分布式系統,能夠在秒量級迭代執(zhí)行針對海量交通數據的機器學習算法。
[Abstract]:At present, traffic monitoring data are becoming more and more complicated. A series of methods have been adopted gradually in road network monitoring, evaluation and data processing, while urban traffic problems are still becoming more and more prominent. One of the crux of the problem lies in how to deal with mass traffic data efficiently. Real time analysis, mining, calling, providing necessary information services for driving and riding. The paper relies on the demonstration project of "Highway Traffic Sensor Network Information Detection, Mining, aggregation, Publishing and Assistant Decision-Making demonstration system" of the Department of Science and Technology of the province, This paper introduces the application status of mobile acquisition technology and cloud computing technology in intelligent transportation system at home and abroad, analyzes the difficulties of transferring and processing mass traffic data in mobile cloud environment, and puts forward the optimal load balancing strategy in mobile cloud environment. A mobile monitoring data model for prediction evaluation and its real-time data processing platform are established and verified by road network simulation. The traditional streaming media server cannot provide high concurrent services due to the need of a large amount of bandwidth for streaming media transmission. This paper proposes a streaming media server architecture based on Reactor model, which overcomes the problem of thread scheduling overhead and synchronization deadlock faced by traditional multithread model, and adopts adaptive caching mechanism based on network condition. The real-time and stable streaming media service in cloud environment is realized. A load balancing strategy based on optimization genetic algorithm is proposed to solve the imbalance of resource utilization in mobile cloud environment. By adopting multi-objective fitness function and self-adaptation, a load balancing strategy based on optimization genetic algorithm is proposed. Crossover mutation operator, It solves the problems of slow convergence rate and easy to fall into local convergence of traditional scheduling strategy, which accords with the heterogeneous and dynamic characteristics of resources in mobile cloud environment. In this paper, the real-time analysis and processing of massive traffic data are discussed. The distributed cloud platform is constructed based on Spark framework. By using the memory based distributed system to realize the real-time processing of massive data, it overcomes the problem that the traditional framework can not carry out real-time tasks. The EM algorithm is used to analyze the GPS data collected by mobile devices, to evaluate and predict the road network status in real time, and to publish it through the web interface. The research results of this paper have important theoretical significance and application value. The innovation of this paper lies in: 1) aiming at the problem of process scheduling overhead and synchronization deadlock faced by servers based on multithreaded model. I / O reuse mode based on Reactor model is used to provide high concurrent service. 2) aiming at the problem of low resource utilization in mobile cloud platform, the traditional genetic algorithm is optimized to achieve dynamic load balancing. This paper overcomes the heterogeneity and dynamic problem of computing resources in mobile cloud environment. 3) based on Spark framework, the real-time processing cluster of massive traffic data is realized, and the distributed system based on memory is constructed. Machine learning algorithm for mass traffic data can be iterated in second order.
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：U495

【相似文獻】

相關期刊論文 前10條

1 楊艷麗,史維祥;一種新的優(yōu)化算法—遺傳算法的設計[J];液壓氣動與密封;2001年02期

2 王毅,曹樹良;遺傳算法在并聯水泵系統運行優(yōu)化中的應用[J];流體機械;2003年10期

3 趙義紅,李正文,何其四;生物信息處理系統遺傳算法探討[J];成都理工大學學報(自然科學版);2004年05期

4 李凡,黃數林,張東風;一種改進的多倍體遺傳算法[J];華中科技大學學報(自然科學版);2005年01期

5 韋雪潔;黎明;劉高航;田貴超;;注入式的遺傳算法的分析與研究[J];南昌航空工業(yè)學院學報(自然科學版);2006年01期

6 閻綱;;遺傳算法及其仿真[J];湖南工程學院學報(自然科學版);2006年04期

7 ;遺傳算法[J];電網與清潔能源;2008年10期

8 吳玫;陸金桂;;遺傳算法的研究進展綜述[J];機床與液壓;2008年03期

9 李培植;肖利明;于靜濤;;基于遺傳算法的結構優(yōu)化方法[J];公路交通科技(應用技術版);2008年08期

10 于金;金樂;杜海璐;;基于改進遺傳算法的集裝箱裝載優(yōu)化問題研究[J];船海工程;2008年05期

相關會議論文 前10條

1 陳家照;廖海濤;張中位;羅寅生;;一種改進的遺傳算法及其在路徑規(guī)劃中的應用[A];2009系統仿真技術及其應用學術會議論文集[C];2009年

2 李國云;劉穎;薛梅;鄔志敏;;遺傳算法在高溫空冷冷凝器優(yōu)化設計中的應用[A];第五屆全國制冷空調新技術研討會論文集[C];2008年

3 王志軍;李守春;張爽;;改進的遺傳算法在反演問題中的應用[A];新世紀 新機遇 新挑戰(zhàn)——知識創(chuàng)新和高新技術產業(yè)發(fā)展（上冊）[C];2001年

4 任燕翔;姜立;劉連民;從滋慶;;改進遺傳算法在三維日照方案優(yōu)化中的應用[A];工程三維模型與虛擬現實表現——第二屆工程建設計算機應用創(chuàng)新論壇論文集[C];2009年

5 韓娟;;遺傳算法概述[A];第三屆河南省汽車工程科技學術研討會論文集[C];2006年

6 龐國仲;王元西;;基于遺傳算法控制步長的定性仿真方法[A];'2000系統仿真技術及其應用學術交流會論文集[C];2000年

7 張忠華;楊淑瑩;;基于遺傳算法的聚類設計[A];全國第二屆信號處理與應用學術會議�？痆C];2008年

8 何翠紅;區(qū)益善;;遺傳算法及其在計算機編程中的應用[A];1995年中國智能自動化學術會議暨智能自動化專業(yè)委員會成立大會論文集（下冊）[C];1995年

9 靳開巖;張乃堯;;幾種實用遺傳算法及其比較[A];1996年中國智能自動化學術會議論文集（下冊）[C];1996年

10 王宏剛;曾建潮;李志宏;;攝動遺傳算法[A];1996年中國智能自動化學術會議論文集（下冊）[C];1996年

相關重要報紙文章 前1條

1 林京;《神經網絡和遺傳算法在水科學領域的應用》將面市[N];中國水利報;2002年

相關博士學位論文 前10條

1 蔡美菊;交互式遺傳算法及其在隱性目標決策問題中的應用研究[D];合肥工業(yè)大學;2015年

2 張士偉;三維聲學快速多極基本解法在機械噪聲預測中的應用研究[D];沈陽工業(yè)大學;2016年

3 高軍;無鉛焊料本構模型及其參數識別方法研究[D];南京航空航天大學;2015年

4 周輝仁;遞階遺傳算法理論及其應用研究[D];天津大學;2008年

5 郝國生;交互式遺傳算法中用戶的認知規(guī)律及其應用[D];中國礦業(yè)大學;2009年

6 侯格賢;遺傳算法及其在跟蹤系統中的應用研究[D];西安電子科技大學;1998年

7 馬國田;遺傳算法及其在電磁工程中的應用[D];西安電子科技大學;1998年

8 唐文艷;結構優(yōu)化中的遺傳算法研究和應用[D];大連理工大學;2002年

9 周激流;遺傳算法理論及其在水問題中應用的研究[D];四川大學;2000年

10 劉冀成;基于改進遺傳算法的生物電磁成像與磁場聚焦應用研究[D];四川大學;2005年

相關碩士學位論文 前10條

1 張英俐;基于遺傳算法的作曲系統研究[D];山東師范大學;2006年

2 鐘海萍;原對偶遺傳算法與蟻群算法的一種融合算法[D];暨南大學;2013年

3 李志添;模糊遺傳算法與資源優(yōu)化配置的預測控制[D];華南理工大學;2015年

4 王琳琳;新型雙層液壓轎運車車廂的設計研究[D];上海工程技術大學;2015年

5 李海全;基于遺傳算法的建筑體形系數及迎風面積比優(yōu)化方法研究[D];華南理工大學;2015年

6 彭騫;基于遺傳算法的山區(qū)高等級公路縱斷面智能優(yōu)化方法研究[D];昆明理工大學;2015年

7 周玉林;基于小波分析和遺傳算法的配電網故障檢測[D];昆明理工大學;2015年

8 郭頌;基于粗糙集和遺傳算法的數字管道生產管理系統研究[D];昆明理工大學;2015年

9 吳南;數值逼近遺傳算法的研究應用[D];華南理工大學;2015年

10 于光帥;一類優(yōu)化算法的改進研究與應用[D];渤海大學;2015年

，

本文編號：1539031