近年來各領(lǐng)域?qū)Ω咝阅苡?jì)算的需求與日俱增,服務(wù)商為了迎合計(jì)算需求通常需要在硬件資源上投入大量資金,而大部分平臺的資源利用率卻并不高,故集群資源的有效利用成為一個(gè)亟待解決的問題。眾所周知,調(diào)度策略是聯(lián)系上層作業(yè)和底層硬件資源的中樞,其對資源利用以及用戶體驗(yàn)影響顯著。而目前國內(nèi)大部分高性能計(jì)算集群通常采用先來先服務(wù)等傳統(tǒng)的作業(yè)調(diào)度方法,因?yàn)榇祟愓{(diào)度方法實(shí)現(xiàn)簡單、實(shí)用性很強(qiáng)。然而,為了保證公平性原則,當(dāng)需要調(diào)度一個(gè)資源需求較大而現(xiàn)有空閑資源不能滿足的大作業(yè)時(shí),往往需要為其預(yù)留資源,這就容易產(chǎn)生大量閑置的資源碎片。針對上述問題,一種比較普遍的策略是使用回填,它優(yōu)化了資源碎片的利用,但好的回填依賴于對作業(yè)執(zhí)行時(shí)間的預(yù)知,而由于作業(yè)預(yù)估執(zhí)行時(shí)間的缺失使得回填調(diào)度很難在生產(chǎn)系統(tǒng)中運(yùn)用,故對作業(yè)執(zhí)行時(shí)間的預(yù)測也是亟待解決的問題。鑒于vasp是國內(nèi)應(yīng)用最普及的高性能計(jì)算應(yīng)用軟件之一,在我校TC4600平臺上,其作業(yè)數(shù)占比約43%,機(jī)時(shí)占比約50%,故對vasp作業(yè)時(shí)長進(jìn)行預(yù)測具有重要意義。本文分析了 vasp作業(yè)特性,通過解析日志及輸入文件來抽取相應(yīng)的作業(yè)特征集,基于這些特征集提出一種基于stacking...

【文章頁數(shù)】：78 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１．３?ＴＣ４６００集群各應(yīng)用機(jī)時(shí)占比分布??

?—Ｅｌ?ｆ?１１??圖１．２回填優(yōu)化思想示意圖??然而，由于高性能計(jì)算集群中作業(yè)種類繁多以及作業(yè)之間的內(nèi)部差異甚大，??對所有類型的作業(yè)進(jìn)行時(shí)長預(yù)測工作量巨大甚至是不現(xiàn)實(shí)的，而鑒于ｖａｓｐ是國??內(nèi)應(yīng)用最為普及的高性能計(jì)算軟件之一，所以對于ｖａｓｐ作業(yè)時(shí)長的預(yù)測問題非??常值得....

圖１．２回填優(yōu)化思想示意圖??

常值得被關(guān)注。本文的所有工作都是基于中科大超算中心的“曙光ＴＣ４６００百萬??億次超級計(jì)算機(jī)系統(tǒng)”（以下簡稱”?ＴＣ４６００集群“）上的作業(yè)數(shù)據(jù)，ＴＣ４６００集群??上各種應(yīng)用的機(jī)時(shí)分布信息如圖１．３所示，ｖａｓｐ作業(yè)機(jī)時(shí)占比將近５０％，據(jù)統(tǒng)計(jì)，??ｖａｓｐ作業(yè)數(shù)占比也接近４０％....

圖２．１?Ｅａｓｙ?Ｂａｃｋｆｉｌｌｉｎｇ策略的不良影響??１］??

第２章相關(guān)研究與技術(shù)??（ａ）對當(dāng)前的資源時(shí)空圖進(jìn)行遍歷，找到滿足該作業(yè)ＣＰＵ核數(shù)需求的第??一個(gè)時(shí)間點(diǎn)，該時(shí)間點(diǎn)即為該作業(yè)對應(yīng)的插入點(diǎn)。??（ｂ）從該作業(yè)對應(yīng)的插入點(diǎn)開始，遍歷資源時(shí)空分布圖，檢查集群剩余??ＣＰＵ核在該作業(yè)執(zhí)行完畢前的這段時(shí)間內(nèi)是否一直可以滿足該作業(yè)??的執(zhí)行....

圖３．１?用戶??

業(yè)時(shí)長預(yù)測問題建模??平臺作業(yè)時(shí)長預(yù)測問題有一個(gè)全相關(guān)角色和對象進(jìn)行建模和分析，來分析對作業(yè)執(zhí)行時(shí)間有影響的因的最終目的以及使用場景，明確的用戶可以租用集群的計(jì)算資源，使用權(quán)。用戶可以提交任務(wù)，產(chǎn)生ｒｏｕｐＩＤ、ｎａｍｅ，支持提交作業(yè)、刪

本文編號：3939577