隨著大數(shù)據(jù)處理框架應(yīng)用越來越廣泛,大數(shù)據(jù)處理應(yīng)用程序性能預(yù)測的需求也越來越多。Spark是一種基于分布式內(nèi)存計算的大數(shù)據(jù)處理框架,憑借其更快的處理速度、良好的擴(kuò)展性和容錯性,在業(yè)界已得到廣泛認(rèn)可。然而Spark負(fù)載的執(zhí)行時間根據(jù)輸入數(shù)據(jù)量大小、算法的設(shè)計實現(xiàn)、集群計算能力和集群參數(shù)配置等會有很大的不同,這使得Spark性能預(yù)測成為一個很大的難題�，F(xiàn)階段,針對Spark性能預(yù)測的方法主要有機(jī)器學(xué)習(xí)和系統(tǒng)行為建模兩類方法,然而這些方法存在通用性差和準(zhǔn)確性低等問題。本文針對以上問題,通過對Spark運(yùn)行機(jī)制的深入研究,提出一種基于隨機(jī)森林回歸模型和圖編輯距離的Spark性能預(yù)測算法,該算法克服了一般機(jī)器學(xué)習(xí)方法通用性差和系統(tǒng)行為建模準(zhǔn)確性低等缺點。本文將影響Spark負(fù)載性能的因素分為兩大類:靜態(tài)特征因素和動態(tài)特征因素。以靜態(tài)特征因素作為輸入,以負(fù)載執(zhí)行時間為輸出,利用固定類型負(fù)載的歷史運(yùn)行信息和隨機(jī)森林回歸算法,構(gòu)建出該類型負(fù)載的性能預(yù)測模型——SRFRP模型。利用多種類型負(fù)載的歷史運(yùn)行信息,通過訓(xùn)練產(chǎn)生SRFRP模型庫。然后根據(jù)負(fù)載動態(tài)特征——DAG圖和本文提出的負(fù)載相似度計算方法,從SR...

【文章頁數(shù)】：76 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖3-3最優(yōu)max_features選擇從最優(yōu)max_feature值分析中我們已經(jīng)得到了最優(yōu)的決策樹特征數(shù)量為7個，因此本文令max_feature=7，動態(tài)調(diào)整n_estimator值再進(jìn)行上一步中的

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文ator值的設(shè)定存在一個原則——盡量要使得每一個樣本都能那么通常的n_estimator值設(shè)定為1000或者500，但是也，這要根據(jù)具體的情況具體分析

圖3-4最優(yōu)n_estimator選擇

圖3-3最優(yōu)max_features選擇從最優(yōu)max_feature值分析中我們已經(jīng)得到了最優(yōu)的決策樹特征數(shù)因此本文令max_feature=7，動態(tài)調(diào)整n_estimator值再進(jìn)行上一步即可，實驗結(jié)果如圖3-4：

圖5-3WordCount測試集預(yù)測模型執(zhí)行時間對比圖

機(jī)器學(xué)習(xí)K-meansClustering機(jī)器學(xué)習(xí)RandomForestRegression機(jī)器學(xué)習(xí)SVM機(jī)器學(xué)習(xí)DecisionTree機(jī)器學(xué)習(xí)LinearRegression電子商務(wù)NativeBayesianClassification社交網(wǎng)絡(luò)服務(wù)Co....

圖5-4PageRank測試集預(yù)測模型執(zhí)行時間對比圖

前文SRFRP模型預(yù)測能力評價原理與方法提到的確定系數(shù)是衡量一個回歸模型好壞的重要量化標(biāo)準(zhǔn)，因此，本文也對WordCount負(fù)載的SRFRP模型預(yù)測能力進(jìn)行了計算評估，根據(jù)確定系數(shù)計算公式()()(....

本文編號：4026179