【摘要】：計(jì)算機(jī)集群作為分布式系統(tǒng)的一個(gè)重要分類,被廣泛應(yīng)用于高性能和高吞吐量計(jì)算系統(tǒng),自上世紀(jì)九十年代以來(lái),集群計(jì)算一直是計(jì)算機(jī)科學(xué)的研究熱點(diǎn)。在集群環(huán)境下,負(fù)載均衡技術(shù)在提高系統(tǒng)并行計(jì)算能力和資源利用率方面起著關(guān)鍵性的作用,優(yōu)秀的負(fù)載均衡算法可以有效的管理并調(diào)度系統(tǒng)資源,避免資源利用不均衡而導(dǎo)致系統(tǒng)整體性能下降的情況。印刷作業(yè)包含大量計(jì)算密集型操作,采用經(jīng)典的三層體系結(jié)構(gòu)~([1])的分布式包裝布局自動(dòng)化系統(tǒng)PLA1.0(Packaging Layout Automation)存在作業(yè)丟失、內(nèi)存溢出、響應(yīng)時(shí)間長(zhǎng)和系統(tǒng)吞吐量差等性能缺陷。針對(duì)這些問(wèn)題,本論文提出采用基于動(dòng)態(tài)負(fù)載均衡~([2])的計(jì)算機(jī)集群架構(gòu)重構(gòu)PLA1.0,從作業(yè)級(jí)并行的角度,提高系統(tǒng)的吞吐量,并使系統(tǒng)具有更好的可用性、伸縮性和擴(kuò)展性。同時(shí)采用線程池~([3])、并行計(jì)算~([4])、緩存、異步、虛擬化等系統(tǒng)優(yōu)化策略,解決系統(tǒng)存在的性能問(wèn)題。論文首先介紹選題背景以及計(jì)算機(jī)集群~([5])和負(fù)載均衡與作業(yè)調(diào)度系統(tǒng)的基本概念,并重點(diǎn)論述負(fù)載均衡與作業(yè)調(diào)度系統(tǒng)的相關(guān)技術(shù),在此基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)PLA2.0。具體而言,有以下幾個(gè)方面:1.詳細(xì)論述PLA1.0的系統(tǒng)結(jié)構(gòu)和作業(yè)處理流程,并分析其性能缺陷,提出PLA2.0的功能和性能需求以及設(shè)計(jì)方案。2.詳細(xì)論述負(fù)載均衡與作業(yè)調(diào)度系統(tǒng)的基本需求、設(shè)計(jì)思路、通信模型、計(jì)算服務(wù)器管理、作業(yè)調(diào)度、作業(yè)狀態(tài)管理等內(nèi)容,設(shè)計(jì)并實(shí)現(xiàn)具有交互功能的作業(yè)調(diào)度子系統(tǒng)PLA Dispatcher;并采用故障轉(zhuǎn)移、心跳檢測(cè)、超時(shí)處理、冗余備份與恢復(fù)、守護(hù)進(jìn)程、版本校驗(yàn)等技術(shù)加強(qiáng)系統(tǒng)可靠性;同時(shí)針對(duì)集群架構(gòu)所帶來(lái)的系統(tǒng)部署復(fù)雜度增加的問(wèn)題,實(shí)現(xiàn)自動(dòng)更新功能,使得系統(tǒng)更易于快速部署和維護(hù)。3.深入研究負(fù)載均衡和作業(yè)調(diào)度算法~([1,5,6,7,8]),根據(jù)項(xiàng)目數(shù)據(jù)和作業(yè)的特征,實(shí)現(xiàn)一種適合于當(dāng)前系統(tǒng)的動(dòng)態(tài)負(fù)載均衡與作業(yè)調(diào)度算法。本論文詳細(xì)論述算法思想、流程圖以及偽代碼。4.深入分析作業(yè)丟失的原因,采用更合理的系統(tǒng)分層和功能分割,重新設(shè)計(jì)并實(shí)現(xiàn)檢驗(yàn)?zāi)K、通信模塊和數(shù)據(jù)庫(kù)管理模塊,解決作業(yè)丟失問(wèn)題。5.集群架構(gòu)有效的解決了作業(yè)的并行,提高了系統(tǒng)吞吐量,但是不能有效的解決單作業(yè)處理時(shí)間長(zhǎng)和內(nèi)存溢出的問(wèn)題。為此,本文采用線程池、并行計(jì)算、緩存、異步、虛擬化等系統(tǒng)優(yōu)化策略及優(yōu)雅的內(nèi)存管理技術(shù),解決PLA1.0存在的內(nèi)存溢出和單作業(yè)處理時(shí)間長(zhǎng)的問(wèn)題。6.簡(jiǎn)要介紹計(jì)算服務(wù)器集群的設(shè)計(jì)思路和作業(yè)處理流程,概括性的介紹客戶端、通信服務(wù)器和工作流模塊。最后,本文描述了負(fù)載均衡與作業(yè)調(diào)度系統(tǒng)的功能測(cè)試并詳細(xì)論述了系統(tǒng)性能測(cè)試,從內(nèi)存使用量、響應(yīng)時(shí)間~([6])和系統(tǒng)吞吐量三個(gè)方面對(duì)PLA1.0和PLA2.0的測(cè)試結(jié)果進(jìn)行分析和比較。性能測(cè)試結(jié)果表明,PLA2.0的平均吞吐量是PLA1.0的2.45倍并且沒(méi)有任何作業(yè)丟失,系統(tǒng)最大加速比達(dá)到6.03;在內(nèi)存管理方面,PLA2.0沒(méi)有內(nèi)存溢出和泄漏問(wèn)題,對(duì)于PLA1.0不能處理的作業(yè),相比較而言,PLA2.0只用了15%的內(nèi)存量,且保持穩(wěn)定和可靠運(yùn)行。總體而言,本文所論述的基于動(dòng)態(tài)負(fù)載均衡的計(jì)算機(jī)集群系統(tǒng)PLA2.0作業(yè)分配穩(wěn)定,資源利用率、內(nèi)存管理、作業(yè)處理速度等各方面都達(dá)到甚至超出了設(shè)計(jì)要求,實(shí)現(xiàn)了系統(tǒng)高性能、高可用、易擴(kuò)展、可伸縮的目的。目前系統(tǒng)已經(jīng)投入使用并且穩(wěn)定運(yùn)行,該解決方案也已經(jīng)推廣到其它產(chǎn)品線。
【圖文】：

圖 2-1 分布式系統(tǒng)中軟件和硬件服務(wù)層[1]Fig. 2-1 Software and Hardware service layers in distributed system[1]次化體系結(jié)構(gòu)體系結(jié)構(gòu)是分層體系結(jié)構(gòu)的補(bǔ)充[1] 分層將服務(wù)垂直組織成根據(jù)功能把服務(wù)分為不同的層次，如下圖 2-2 所示，每一層負(fù)具體化和細(xì)致化 通常意義上的三層架構(gòu)(3-tier architecture物理上的三層或三臺(tái)機(jī)器，將整個(gè)業(yè)務(wù)應(yīng)用劃分為：表示邏據(jù)邏輯

圖 2-1 分布式系統(tǒng)中軟件和硬件服務(wù)層[1]Fig. 2-1 Software and Hardware service layers in distributed system[1]層次化體系結(jié)構(gòu)化體系結(jié)構(gòu)是分層體系結(jié)構(gòu)的補(bǔ)充[1] 分層將服務(wù)垂直組織成化根據(jù)功能把服務(wù)分為不同的層次，如下圖 2-2 所示，每一層負(fù)于具體化和細(xì)致化 通常意義上的三層架構(gòu)(3-tier architecture) 指物理上的三層或三臺(tái)機(jī)器，將整個(gè)業(yè)務(wù)應(yīng)用劃分為：表示邏數(shù)據(jù)邏輯
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP302

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 張嗜軍;高曙;;一種改進(jìn)的增量式JVM垃圾收集算法[J];計(jì)算機(jī)工程;2012年01期

2 呂愛(ài)民,何欽銘;Java虛擬機(jī)垃圾收集器的性能分析與調(diào)節(jié)[J];計(jì)算機(jī)應(yīng)用與軟件;2004年10期

3 蔣江,張民選,廖湘科;基于多種資源的負(fù)載平衡算法的研究[J];電子學(xué)報(bào);2002年08期

相關(guān)碩士學(xué)位論文 前2條

1 朱晨晨;基于優(yōu)化負(fù)載均衡算法的任務(wù)調(diào)度系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

2 碩s，

本文編號(hào)：2689006