隨著集群規(guī)模的逐漸擴(kuò)大和性能的日益提高,集群調(diào)度技術(shù)作為集群的關(guān)鍵技術(shù)也成為研究的難點和熱點。粒子群優(yōu)化算法(Particle Swarm Optimization, PSO)具有并行性、有效的全局/局部搜索平衡能力、計算簡單、魯棒性好等優(yōu)點,將粒子群優(yōu)化算法的引入集群調(diào)度中,具有很高的學(xué)術(shù)價值和實際意義。 本文搭建了一個基于Linux + MPI的松耦合PC集群,在集群網(wǎng)絡(luò)存儲節(jié)點間建立RAID5數(shù)據(jù)冗余關(guān)系,來提高數(shù)據(jù)傳輸速率和系統(tǒng)吞吐量,實現(xiàn)了邏輯盤卷管理(LVM),提高集群系統(tǒng)磁盤分區(qū)管理的靈活性,降低節(jié)點/磁盤的平均失效時間的同時提高了系統(tǒng)的重構(gòu)速率,增強了整個集群系統(tǒng)的安全性和可靠性。 設(shè)計并實現(xiàn)了基于PSO算法的調(diào)度策略,包括編碼方式的設(shè)計、選擇速度-位置模型、確定集群調(diào)度問題的適應(yīng)度函數(shù)和約束條件、確定算法的終止準(zhǔn)則、設(shè)計粒子解碼方式并生成調(diào)度方案。并根據(jù)調(diào)度策略中負(fù)載均衡的要求以及粒子群算法中慣性權(quán)重的研究,提出均衡因子Ti為每個節(jié)點的負(fù)載完成率的倒數(shù),通過把各資源的負(fù)載完成率的差值控制在一個較小的閾值之內(nèi),以動態(tài)調(diào)整慣性權(quán)重來保證負(fù)載均衡。 通過實驗得出了最佳的ω、v_(max)、ε、m取值,由于PSO算法比較出色的性能,使得集群調(diào)度策略在生成速度和精度上都有明顯的提高,添加均衡因子的調(diào)度策略由于充分考慮到集群系統(tǒng)在執(zhí)行過程中的動態(tài)負(fù)載情況,使得集群的總體執(zhí)行時間(最優(yōu)值)更小。 對最終調(diào)度結(jié)果、集群各節(jié)點的平均響應(yīng)時間和CPU平均利用率進(jìn)行測試和評價,通過與FCFS、Backfill的對比,基于PSO算法調(diào)度結(jié)果的效果是非常明顯的,大大縮短了集群系統(tǒng)的處理周期,為實際的生產(chǎn)過程節(jié)約了大量的時間和成本。加入均衡因子后,更加平衡了系統(tǒng)高利用率和短作業(yè)等待時間之間的矛盾。
【學(xué)位授予單位】:中國石油大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2011
【分類號】:TP338
文章目錄
摘要
Abstract
第一章 緒論
1.1 課題的背景和意義
1.2 國內(nèi)外研究現(xiàn)狀
1.2.1 現(xiàn)有的調(diào)度策略分析
1.2.2 負(fù)載均衡調(diào)度策略分析
1.3 課題的主要研究內(nèi)容
1.4 章節(jié)安排
第二章 集群及資源管理系統(tǒng)
2.1 集群體系結(jié)構(gòu)和特點
2.2 集群的分類
2.3 集群的關(guān)鍵技術(shù)
2.4 集群資源管理系統(tǒng)介紹
2.4.1 Condor
2.4.2 Load Leveler
2.4.3 LSF
2.4.4 PBS
2.4.5 曙光3000 的JOSS 集群作業(yè)管理系統(tǒng)
2.5 PBS 作業(yè)調(diào)度機制
2.6 本章小結(jié)
第三章 集群調(diào)度策略
3.1 集群作業(yè)調(diào)度的模型及原理
3.2 現(xiàn)有調(diào)度策略分析
3.3 調(diào)度策略中的負(fù)載均衡
3.4 負(fù)載均衡調(diào)度策略分析
3.5 存在的問題
3.6 本章小結(jié)
第四章 基于粒子群優(yōu)化算法的集群調(diào)度策略的設(shè)計與實現(xiàn)
4.1 粒子群優(yōu)化算法原理
4.1.1 基本的粒子群優(yōu)化算法
4.1.2 粒子群優(yōu)化算法模型的改進(jìn)
4.2 粒子群優(yōu)化算法的優(yōu)點和應(yīng)用
4.3 粒子群優(yōu)化算法的設(shè)計步驟和算法流程
4.4 基于PSO 算法的調(diào)度策略的設(shè)計與實現(xiàn)
4.4.1 粒子的編碼方式
4.4.2 適應(yīng)度函數(shù)的確定
4.4.3 選擇粒子群速度-位置模型
4.4.4 確定算法的終止準(zhǔn)則
4.4.5 生成粒子解碼和調(diào)度方案
4.4.6 算法描述
4.4.7 生成調(diào)度方案
4.5 均衡因子的添加
4.6 本章小結(jié)
第五章 實驗驗證與結(jié)果分析
5.1 PC 集群的構(gòu)建與測試
5.1.1 集群硬件環(huán)境
5.1.2 安裝MPICH
5.1.3 配置MPICH
5.2 集群存儲系統(tǒng)RAID
5.2.1 集群存儲系統(tǒng)
5.2.2 RAID 技術(shù)的工作原理及特點
5.3 RAID5 原理及配置
5.3.1 RAID5 技術(shù)原理
5.3.2 設(shè)置RAID 5
5.3.3 配置熱備(Hot spare)
5.4 邏輯盤卷管理(LVM)
5.4.1 LVM 基本術(shù)語
5.4.2 LVM 工具的安裝
5.5 集群RAID5 存儲系統(tǒng)可靠性分析
5.6 實驗環(huán)境的搭建
5.6.1 PBS 的配置
5.6.2 PBS 的測試
5.7 實驗結(jié)果分析
5.7.1 最優(yōu)慣性權(quán)值和飛行速度的測試
5.7.2 優(yōu)化結(jié)果與均衡因子閾值的關(guān)系
5.7.3 調(diào)度策略生成測試與評價
5.7.4 調(diào)度結(jié)果的測試與分析
5.8 本章小結(jié)
總結(jié)和展望
參考文獻(xiàn)
攻讀碩士學(xué)位期間取得的學(xué)術(shù)成果
致謝
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 楊曉慶;左為恒;李昌春;;基于K-Means變異算子的混合PSO算法聚類研究[J];微電子學(xué)與計算機;2011年07期
2 屈敏;高岳林;江巧永;;基于Pareto鄰域交叉算子的多目標(biāo)粒子群優(yōu)化算法[J];計算機應(yīng)用;2011年07期
3 段其昌;黃大偉;雷蕾;段盼;;帶擴(kuò)展記憶的粒子群優(yōu)化算法仿真分析[J];控制與決策;2011年07期
4 孫鋒利;何明一;高全華;;一種引入密度因子的改進(jìn)粒子群優(yōu)化算法[J];計算機應(yīng)用研究;2011年08期
5 李龍星;余炳輝;;用整體分布優(yōu)化算法求解水火電力系統(tǒng)短期優(yōu)化調(diào)度[J];計算機應(yīng)用與軟件;2011年07期
6 徐星;吳昱;李元香;;基于布朗運動的改進(jìn)粒子群優(yōu)化算法[J];計算機應(yīng)用研究;2011年07期
7 李蕊;雷群泌;;一種面向汽車系統(tǒng)可靠性優(yōu)化的任務(wù)分配方法[J];計算機應(yīng)用研究;2011年07期
8 楊華;周銳;;基于熵值法的PSOBP神經(jīng)網(wǎng)絡(luò)私家車保有量的預(yù)測[J];電腦知識與技術(shù);2011年19期
9 王喜賓;張小平;王翰虎;孫興;;基于支持向量機的農(nóng)業(yè)科技項目分類研究[J];貴州大學(xué)學(xué)報(自然科學(xué)版);2011年03期
10 余永紅;馮斌;孫俊;;生化途徑參數(shù)估計的QPSO-MGbest算法[J];計算機工程與應(yīng)用;2011年20期
相關(guān)博士學(xué)位論文 前10條
1 戴運桃;粒子群優(yōu)化算法研究及其在船舶運動參數(shù)辨識中的應(yīng)用[D];哈爾濱工程大學(xué);2010年
2 劉波;粒子群優(yōu)化算法及其在機電設(shè)備中的應(yīng)用研究[D];中北大學(xué);2011年
3 傅陽光;粒子群優(yōu)化算法的改進(jìn)及其在航跡規(guī)劃中的應(yīng)用研究[D];華中科技大學(xué);2011年
4 劉華鎣;粒子群優(yōu)化算法的改進(jìn)研究及在石油工程中的應(yīng)用[D];東北石油大學(xué);2012年
5 徐星;融合熱運動機制的粒子群優(yōu)化算法研究及其應(yīng)用[D];武漢大學(xué);2010年
6 王大志;面向?qū)嶋H工程問題的粒子群優(yōu)化算法應(yīng)用技術(shù)的研究[D];東北大學(xué);2009年
7 徐文星;混沌粒子群優(yōu)化算法及應(yīng)用研究[D];北京化工大學(xué);2012年
8 李丹;粒子群優(yōu)化算法及其應(yīng)用研究[D];東北大學(xué);2007年
9 張瑋;粒子群優(yōu)化算法研究及在陣列天線中的應(yīng)用[D];太原理工大學(xué);2010年
10 王維博;粒子群優(yōu)化算法研究及其應(yīng)用[D];西南交通大學(xué);2012年
相關(guān)碩士學(xué)位論文 前10條
1 王婧;基于粒子群優(yōu)化算法的集群調(diào)度策略研究[D];中國石油大學(xué);2011年
2 孫晶晶;粒子群優(yōu)化算法的改進(jìn)及其應(yīng)用研究[D];陜西師范大學(xué);2010年
3 張新娟;改進(jìn)粒子群優(yōu)化算法及其在圖像分割中的應(yīng)用[D];陜西師范大學(xué);2011年
4 劉煌;基于GA的改進(jìn)粒子群算法研究及其在TSP上的應(yīng)用[D];武漢理工大學(xué);2010年
5 苗愛敏;基于動態(tài)特征的粒子群優(yōu)化算法研究[D];云南大學(xué);2010年
6 楊洋;基于粒子群優(yōu)化算法的準(zhǔn)循環(huán)LDPC碼構(gòu)造[D];北京交通大學(xué);2011年
7 沈錫;基于粒子群優(yōu)化算法的船舶航向PID控制[D];大連海事大學(xué);2011年
8 劉現(xiàn);蛋白質(zhì)結(jié)構(gòu)預(yù)測的粒子群優(yōu)化算法研究[D];福建農(nóng)林大學(xué);2011年
9 王瑩;基于粒子群優(yōu)化算法的無功優(yōu)化及規(guī)劃[D];天津大學(xué);2005年
10 馬艷偉;基于粒子群優(yōu)化的異構(gòu)多處理器任務(wù)調(diào)度算法研究應(yīng)用[D];杭州電子科技大學(xué);2010年
本文編號:
2723237
本文鏈接:http://www.sikaile.net/kejilunwen/jisuanjikexuelunwen/2723237.html