【摘要】：黑河流域水資源數(shù)據(jù)量龐大,數(shù)據(jù)關(guān)系復(fù)雜,應(yīng)用常規(guī)技術(shù)進(jìn)行優(yōu)化調(diào)度難度較大。本文針對黑河流域當(dāng)前存在的水資源調(diào)度問題,應(yīng)用大數(shù)據(jù)處理與進(jìn)化計算技術(shù),基于大數(shù)據(jù)計算框架Spark與并行化的粒子群算法,研究開發(fā)了黑河流域水庫群多目標(biāo)優(yōu)化調(diào)度系統(tǒng)。在研究開發(fā)過程中,作者分析了黑河流域水資源優(yōu)化調(diào)度系統(tǒng)多個目標(biāo)的特點,將多個目標(biāo)轉(zhuǎn)化成單個目標(biāo),得到該問題的求解模型。接著研究了并行算法編程模型、用于優(yōu)化問題求解的粒子群算法及其并行化策略,以及基于Spark大數(shù)據(jù)計算框架的粒子群算法并行化方法。在理論與技術(shù)研究的基礎(chǔ)上,以Hadoop2.7.1、Sparkl.5.2、Spark on Yarn軟件為基礎(chǔ),搭建了大數(shù)據(jù)支持平臺;在該平臺的分布式文件系統(tǒng)HDFS中存儲了獲取的黑河流域水資源數(shù)據(jù)。接著在Ubuntu Linux操作系統(tǒng)環(huán)境、Spark平臺下,應(yīng)用Scala語言開發(fā)了基于粒子群算法的水庫群多目標(biāo)優(yōu)化調(diào)度并行程序,實現(xiàn)了可處理水庫調(diào)度大數(shù)據(jù)、可高速運行調(diào)度優(yōu)化程序的水庫群多目標(biāo)優(yōu)化調(diào)度系統(tǒng)。本調(diào)度系統(tǒng)的數(shù)據(jù)載入、程序運行、結(jié)果查詢等操作都是在Ubuntu Linux操作系統(tǒng)與Spark平臺、界面下進(jìn)行,對于不熟悉Spark運行機制的普通使用者來說,使用困難極大。為了解決此問題,我們還開發(fā)了一個水庫群多目標(biāo)優(yōu)化調(diào)度系統(tǒng)應(yīng)用平臺,實現(xiàn)了大數(shù)據(jù)的上傳、下載、刪除、查詢,以及需要Spark大數(shù)據(jù)平臺處理的應(yīng)用程序任務(wù)的提交運行和SQL查詢等功能。本課題的研究開發(fā)工作,將為水資源優(yōu)化調(diào)度系統(tǒng)的高效運行起到積極的促進(jìn)作用,對于基于Spark平臺的大數(shù)據(jù)并行編程的發(fā)展與應(yīng)用也有很好的參考價值。
[Abstract]:Because of the huge amount of water resources in Heihe River Basin and the complex data relationship, it is difficult to apply conventional technology to optimal dispatching. In this paper, aiming at the problem of water resources scheduling in Heihe River Basin, big data processing and evolutionary computing techniques are applied to solve the problem, and a parallel particle swarm optimization (PSO) algorithm is proposed based on big data computational framework (Spark). A multi-objective optimal dispatching system for reservoirs in Heihe River Basin is developed. In the course of the research and development, the author analyzes the characteristics of the water resources optimal dispatching system in Heihe River Basin, transforms the multiple objectives into a single target, and obtains the solution model of the problem. Then the parallel algorithm programming model, the particle swarm optimization algorithm and its parallelization strategy are studied, and the parallelization method of particle swarm optimization algorithm based on Spark big data computing framework is also studied. On the basis of theoretical and technical research, big data support platform is built on the basis of Hadoop2.7.1,Sparkl.5.2,Spark on Yarn software, and the acquired water resources data in Heihe River Basin is stored in the distributed file system (HDFS) of the platform. Then under the Ubuntu Linux operating system environment and the Spark platform, the parallel program of multi-objective optimal operation of reservoir group based on particle swarm optimization algorithm is developed by using Scala language, and big data of reservoir dispatching can be processed. Multiobjective optimal dispatching system for reservoir groups with high speed operation optimization program. The data loading, program running and result querying of this scheduling system are all carried out under the Ubuntu Linux operating system and Spark platform, interface. It is very difficult for the common users who are not familiar with the running mechanism of Spark. In order to solve this problem, we have also developed an application platform of multi-objective optimal dispatching system for reservoir groups, which realizes big data's uploading, downloading, deleting and querying. As well as the Spark big data platform to handle the application task submission run and SQL query and other functions. The research and development of this subject will play a positive role in promoting the efficient operation of water resources optimal dispatching system, and it will also have a good reference value for the development and application of big data parallel programming based on Spark platform.
【學(xué)位授予單位】：西安理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP18;TV697.1

【參考文獻(xiàn)】

相關(guān)期刊論文 前9條

1 劉心愿;朱勇輝;郭小虎;渠庚;;水庫多目標(biāo)優(yōu)化調(diào)度技術(shù)比較研究[J];長江科學(xué)院院報;2015年07期

2 彭安幫;彭勇;周惠成;;跨流域調(diào)水條件下水庫群聯(lián)合調(diào)度圖的多核并行計算研究[J];水利學(xué)報;2014年11期

3 王衛(wèi)鋒;田亮;;基于改進(jìn)量子粒子群的分布式并行計算框架設(shè)計[J];計算機測量與控制;2014年06期

4 蔡勇;李光耀;王琥;;基于CUDA的并行粒子群優(yōu)化算法的設(shè)計與實現(xiàn)[J];計算機應(yīng)用研究;2013年08期

5 周云斌;章旭東;;粒子群算法并行化方法研究[J];科技創(chuàng)新導(dǎo)報;2012年29期

6 職為梅;王芳;范明;楊勇;;并行環(huán)境下的同步異步PSO算法[J];計算機技術(shù)與發(fā)展;2009年03期

7 蔣作;高毅;;關(guān)于串行程序并行化[J];云南民族大學(xué)學(xué)報(自然科學(xué)版);2007年03期

8 鮑衛(wèi)鋒;黃介生;楊芳;謝華;趙微;;基于多目標(biāo)動態(tài)規(guī)劃模型的水庫優(yōu)化調(diào)度研究[J];西安理工大學(xué)學(xué)報;2005年04期

9 羅昕，黃仲偉，，李蓮治;一種將串行程序劃分成并行任務(wù)的方法[J];哈爾濱工業(yè)大學(xué)學(xué)報;1995年05期

相關(guān)會議論文 前1條

1 張蕾;陳月輝;楊波;;基于并行PSO的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法的研究[A];2005年全國理論計算機科學(xué)學(xué)術(shù)年會論文集[C];2005年

相關(guān)博士學(xué)位論文 前2條

1 駱濤;面向大數(shù)據(jù)處理的并行計算模型及性能優(yōu)化[D];中國科學(xué)技術(shù)大學(xué);2015年

2 王贏;梯級水庫群優(yōu)化調(diào)度方法研究與系統(tǒng)實現(xiàn)[D];華中科技大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 鄭鳳飛;基于Spark的并行推薦算法的研究與實現(xiàn)[D];西南交通大學(xué);2016年

2 陳名輝;基于YARN和Spark框架的數(shù)據(jù)挖掘算法并行研究[D];湖南師范大學(xué);2016年

3 鄭偉;Spark下MPI/GPU并行計算處理機制的研究[D];中國海洋大學(xué);2015年

4 楊志偉;基于Spark平臺推薦系統(tǒng)研究[D];中國科學(xué)技術(shù)大學(xué);2015年

5 余征;基于Hadoop的人臉圖像識別并行處理方法研究與實現(xiàn)[D];西南交通大學(xué);2015年

6 王韜;基于Spark的聚類集成系統(tǒng)研究與設(shè)計[D];西南交通大學(xué);2015年

7 李文棟;基于Spark的大數(shù)據(jù)挖掘技術(shù)的研究與實現(xiàn)[D];山東大學(xué);2015年

8 梁彥;基于分布式平臺Spark和YARN的數(shù)據(jù)挖掘算法的并行化研究[D];中山大學(xué);2014年

9 邱榮財;基于Spark平臺的CURE算法并行化設(shè)計與應(yīng)用[D];華南理工大學(xué);2014年

10 唐振坤;基于Spark的機器學(xué)習(xí)平臺設(shè)計與實現(xiàn)[D];廈門大學(xué);2014年

本文編號：2299088