【摘要】：各種大數(shù)據(jù)處理技術(shù)如Hadoop、Spark等已被廣泛應(yīng)用于遙感大數(shù)據(jù)處理;機(jī)器學(xué)習(xí)的分類方法也已大量應(yīng)用于遙感圖像的分類識別。針對遙感大數(shù)據(jù),如何快速高效地利用機(jī)器學(xué)習(xí)分類算法對遙感圖像進(jìn)行分類是一項急需解決的問題。雖然已有基于Spark平臺下MPI任務(wù)和GPU任務(wù)的調(diào)度實施研究,但其任務(wù)劃分是一種二分法模式,即把任務(wù)分為MPI任務(wù)或者GPU任務(wù),沒有把GPU任務(wù)嵌入MPI進(jìn)程中。為了充分利用MPI的粗粒度并行編程模型和CUDA的細(xì)粒度并行編程模型的特點,本文提出了基于Spark框架將CUDA并行嵌套在MPI多進(jìn)程中,從而能夠更加有效提高計算處理速度,并搭建了基于Spark框架的高性能支持向量機(jī)并行計算框架�；谔岢龅目蚣�,本文改進(jìn)了機(jī)器學(xué)習(xí)的支持向量機(jī)算法,實現(xiàn)了支持向量機(jī)分類算法在該平臺下的高性能并行計算。以上海地區(qū)的Landsat8遙感影像作為實驗數(shù)據(jù),在不同實驗情境下進(jìn)行實驗,得出如下結(jié)果:1)在單節(jié)點下,MPI-CUDA并行的遙感圖像分類精度較單機(jī)串行下雖然降低了1.05%,但是其計算速度卻提高了6.3倍。2)在單節(jié)點MPI-CUDA環(huán)境下,隨著次進(jìn)程數(shù)的增多雖然遙感圖像分類精度逐漸降低,由94.64%(開啟1個次進(jìn)程)降至92.42%(開啟10個次進(jìn)程),當(dāng)次進(jìn)程數(shù)超過8時,支持向量機(jī)的分類精度趨于穩(wěn)定。但是其計算速度卻明顯逐步提高,最后趨于平穩(wěn)(當(dāng)次進(jìn)程數(shù)量超過9時)。3)隨著節(jié)點數(shù)的增多,支持向量機(jī)分類算法的計算耗時逐漸降低,加速比逐漸增大,但是增長幅度是越來越低的;當(dāng)節(jié)點數(shù)個數(shù)分別為2、4、6時,其對應(yīng)加速比為1.62、2.34、2.65。雖然本文提出的框架會造成遙感圖像分類精度的輕微降低,但通過綜合分析不同環(huán)境下的支持向量機(jī)分類精度以及分類時效,證明了本文提出的基于Spark平臺的高性能并行計算框架是可行且可靠的,將CUDA并行嵌套在MPI多進(jìn)程中是一種高效的混合并行模式。
【圖文】：

CPU架構(gòu)圖 GPU架構(gòu)圖圖 1-1 CPU/GPU 架構(gòu)圖1.2 國內(nèi)外研究現(xiàn)狀隨著遙感學(xué)科的不斷發(fā)展，遙感圖像的分類算法也可熱的是關(guān)于機(jī)器學(xué)習(xí)的遙感圖像分類。進(jìn)入遙感大數(shù)感數(shù)據(jù)，如何能夠快速高效的進(jìn)行處理，，對此國內(nèi)外很理的方法進(jìn)行了改進(jìn)和優(yōu)化。在遙感圖像分類領(lǐng)域，各為了提高遙感圖像分類的速度，很多專家學(xué)者對其相關(guān)1.2.1 遙感圖像分類算法遙感圖像的傳統(tǒng)分類方法很多，各種分類方法也已

圖 2-2 線程網(wǎng)格、線程塊和線程的關(guān)系開發(fā)中，現(xiàn)在廣泛使用的是 NVIDIA 的言開發(fā)的編譯器，能夠?qū)⒃撜Z言編譯成。關(guān)于 CUDA 工作的主要流程如圖 2-3初始化，然后主機(jī)端 CPU 從系統(tǒng)內(nèi)指令驅(qū)動 GPU 運行，以此來調(diào)度 GP過執(zhí)行 cu 文件，調(diào)用 Kernel 函數(shù)，將多線程網(wǎng)格進(jìn)而利用多線程來進(jìn)行計的，而在同一個線程網(wǎng)格內(nèi)的線程之間量的并行計算過程交由很多個線程來執(zhí)存。
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP751;TP181

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李德仁;馬軍;邵振峰;;論時空大數(shù)據(jù)及其應(yīng)用[J];衛(wèi)星應(yīng)用;2015年09期

2 陳峰科;孫眾毅;池明e

本文編號：2646127