現(xiàn)如今互聯(lián)網(wǎng)已經(jīng)從國(guó)家層面到企業(yè)層面慢慢進(jìn)入到每個(gè)人的生活中,互聯(lián)網(wǎng)已經(jīng)成為了21世紀(jì)的又一次新的革命,但互聯(lián)網(wǎng)的也面臨著海量數(shù)據(jù)的處理,信息安全等諸多問(wèn)題。在大數(shù)據(jù)的時(shí)代里,運(yùn)營(yíng)商的迅速壯大,各大網(wǎng)絡(luò)電商平臺(tái)相互的競(jìng)爭(zhēng)發(fā)展,數(shù)據(jù)的如何實(shí)時(shí)處理,信息安全如何保證。如何降低數(shù)據(jù)的維度來(lái)提高數(shù)據(jù)的處理速率等等也一直是我們研究的熱門(mén)問(wèn)題。在這樣的背景下,傳統(tǒng)的入侵檢測(cè)技術(shù)無(wú)法達(dá)到預(yù)期效果,入侵檢測(cè)技術(shù)開(kāi)始向人工智能和分布式等新型方向發(fā)展。另外,傳統(tǒng)的串行計(jì)算模式已經(jīng)無(wú)法滿足海量數(shù)據(jù)的處理,集群模式的分布式平臺(tái)已經(jīng)逐漸的取代串行計(jì)算模式,特別是Hadoop大數(shù)據(jù)的計(jì)算平臺(tái),Spark大數(shù)據(jù)計(jì)算框架具有得天獨(dú)厚的優(yōu)勢(shì)。本文通過(guò)研究傳統(tǒng)的智能優(yōu)化算法-飛蛾撲火優(yōu)化算法(MFO)的優(yōu)缺點(diǎn),對(duì)其進(jìn)行優(yōu)化改進(jìn),并實(shí)現(xiàn)在Spark分布式計(jì)算框架上并行運(yùn)行。本文完成的主要工作內(nèi)容如下:(1)對(duì)傳統(tǒng)的MFO算法進(jìn)行介紹并分析不足之處,然后對(duì)算法進(jìn)行二進(jìn)制的改進(jìn),并使用二進(jìn)制的MFO算法進(jìn)行特征選擇。由于海量數(shù)據(jù)無(wú)法在單機(jī)模式下有效的處理,對(duì)傳統(tǒng)的算法進(jìn)行Spark并行化處理。分別在Spark集群和單機(jī)模式上,對(duì)...

【文章頁(yè)數(shù)】：51 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2.1算法流程圖

湖北工業(yè)大學(xué)碩士學(xué)位論文7圖2.1算法流程圖MFO算法的步驟如下，相應(yīng)的算法流程圖如圖2.1所示。Step1:初始化種群、設(shè)置最大迭代次數(shù)。Step2:用公式（2-5）初始化飛蛾種群M，根據(jù)M計(jì)算出適應(yīng)度值OM，得到當(dāng)前最優(yōu)個(gè)體位置。Step3:M，OM的位置不變，對(duì)M,OM排序....

圖2.2MapReduce計(jì)算流程圖

湖北工業(yè)大學(xué)碩士學(xué)位論文10圖2.2MapReduce計(jì)算流程圖2.4.2Spark計(jì)算框架分析隨著互聯(lián)網(wǎng)的高速發(fā)展，面臨著著海量,高維的數(shù)據(jù)壓力,傳統(tǒng)的串行的計(jì)算模式已經(jīng)不能滿足處理海量數(shù)據(jù)的需求,但是MapReduce在處理數(shù)據(jù)時(shí),需要重復(fù)計(jì)算數(shù)據(jù),重復(fù)的讀寫(xiě)數(shù)據(jù),必然會(huì)提高....

圖3.1 分布式算法框架圖

湖北工業(yè)大學(xué)碩士學(xué)位論文12第3章基于Spark的改進(jìn)飛蛾撲火優(yōu)化算法的研究MFO算法在進(jìn)行特征選擇分類時(shí)雖然能夠獲得較好的分類結(jié)果,但基本的MFO算法存在很多問(wèn)題，例如算法易早熟，易陷入局部最優(yōu)，分類精度不高等特點(diǎn),為了進(jìn)一步提高M(jìn)FO的分類性能,本章將對(duì)基本的飛蛾撲火算法進(jìn)行....

圖3.2分布式飛蛾撲火優(yōu)化算法的流程圖

湖北工業(yè)大學(xué)碩士學(xué)位論文13驟如下所示：圖3.2分布式飛蛾撲火優(yōu)化算法的流程圖AlgorithmSPBMFO輸入:原始數(shù)據(jù)集D；輸出:最優(yōu)的個(gè)體和適應(yīng)度值；Step1種群初始化Step1.1讀取原始數(shù)據(jù)集D，存儲(chǔ)在HDFS中；Step1.2初始化RDD數(shù)據(jù)集，該數(shù)據(jù)集代表飛蛾種群....

本文編號(hào)：4045194