發(fā)布時(shí)間：2020-04-14 20:10

【摘要】：數(shù)據(jù)密集型程序有著廣泛的應(yīng)用，已經(jīng)成為高性能計(jì)算中最重要的應(yīng)用程序之一。這種程序運(yùn)行時(shí)需要頻繁訪問磁盤上的數(shù)據(jù)文件，或者要求的主存容量遠(yuǎn)大于本地主存，導(dǎo)致頻繁訪問交換區(qū)。傳統(tǒng)的虛擬存儲(chǔ)系統(tǒng)使用磁盤作為后備存儲(chǔ)，盡管磁盤具有傳輸速率高、存儲(chǔ)容量大等優(yōu)點(diǎn)，但是，磁盤的尋道時(shí)間比主存要慢幾個(gè)數(shù)量級，從而限制了這些應(yīng)用程序的執(zhí)行速度。 本文研究使用空閑的網(wǎng)絡(luò)主存構(gòu)造虛擬二級存儲(chǔ)設(shè)備，提出了預(yù)測預(yù)取框架PNMS(Prediction-based Network Memory System)。它充分利用了CPU速度的提高、網(wǎng)絡(luò)延遲的改善和主存容量的不斷增加，支持異構(gòu)節(jié)點(diǎn)和各種操作系統(tǒng)。 提出利用內(nèi)核間直接通信來提高通信性能，實(shí)現(xiàn)了一種可靠高效的內(nèi)核級消息傳輸協(xié)議。它同已有的協(xié)議共存，共享底層通信通道。通信雙方都在內(nèi)核中執(zhí)行，降低了上下文開銷和系統(tǒng)調(diào)用時(shí)間。 提出一種基于外部二級設(shè)備的數(shù)據(jù)備份策略，把server分組，每組增加一個(gè)節(jié)點(diǎn)，利用磁盤備份本組server中存放的client使用的數(shù)據(jù)，這就可以避免某個(gè)server偶爾失效導(dǎo)致數(shù)據(jù)丟失，增強(qiáng)了系統(tǒng)的可靠性。 對頁面預(yù)測算法性能進(jìn)行了研究，在傳統(tǒng)PPM(通過部分匹配進(jìn)行預(yù)測)算法的基礎(chǔ)上，通過觀察頁失效序列，有效結(jié)合串行、等跨度等典型程序行為，提出貪婪Markov算法，并討論了控制預(yù)測質(zhì)量的算法策略和機(jī)制。通過把預(yù)測算法和應(yīng)用程序分布到不同的節(jié)點(diǎn)，使用網(wǎng)絡(luò)中的空閑工作站輔助預(yù)取，把即將訪問的頁面讀入目標(biāo)節(jié)點(diǎn)，從而進(jìn)一步減少CPU等待時(shí)間。通常情況下，由于預(yù)測算法和應(yīng)用程序在同一節(jié)點(diǎn)，因而產(chǎn)生高質(zhì)量預(yù)測的開銷很高，使用預(yù)取帶來的性能提高變得微不足道，但是在我們的框架中，由于在不同的工作站上執(zhí)行預(yù)取，故可以使用復(fù)雜度較高的算法，而不會(huì)產(chǎn)生負(fù)面作用。 PPM模型的級數(shù)越高，預(yù)測性能就越強(qiáng)，但是模型越復(fù)雜，狀態(tài)空間越大，運(yùn)行時(shí)間也越長。論文中提出了一種利用規(guī)則訪問壓縮多級PPM模型空間的方法。通過把連續(xù)訪問壓縮到一個(gè)超級節(jié)點(diǎn)中，既可以達(dá)到削減狀態(tài)復(fù)雜度的目的，又不會(huì)降低模型的 國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 預(yù)測性能，還有助于預(yù)測精度的提高。 在規(guī)模比較大的系統(tǒng)中，完全信息收集會(huì)導(dǎo)致過多的CPU和網(wǎng)絡(luò)開銷，考慮到網(wǎng) 絡(luò)系統(tǒng)中負(fù)載信息的非精確性和不完整性，我們提出了集中式最小k子集隨機(jī)算法來選 擇空閑節(jié)點(diǎn)，并實(shí)現(xiàn)了信息Cache機(jī)制。采用多個(gè)收集節(jié)點(diǎn)可以滿足系統(tǒng)擴(kuò)展性要求和 容錯(cuò)要求。通過替換算法，保證Cache中的信息為系統(tǒng)中負(fù)載最小的k個(gè)節(jié)點(diǎn)的信息， 還給出了一種Server優(yōu)先的主存數(shù)量公布算法。 通過對網(wǎng)絡(luò)主存的server端進(jìn)行抽象，設(shè)計(jì)了邏輯memo卿server，它完全屏蔽了 chent和server之間體系結(jié)構(gòu)的差異，使用高效的算法和數(shù)據(jù)結(jié)構(gòu)，保證檢索數(shù)據(jù)的時(shí) 間是常數(shù)。 在Linux系統(tǒng)下設(shè)計(jì)實(shí)現(xiàn)了一個(gè)基于網(wǎng)絡(luò)主存的可靠高效的虛擬存儲(chǔ)設(shè)備，并對 Linux系統(tǒng)內(nèi)核進(jìn)行少量修改支持預(yù)取。測試結(jié)果表明，，系統(tǒng)運(yùn)行穩(wěn)定，無論是計(jì)算密 集型還是數(shù)據(jù)密集型應(yīng)用程序，都可以顯著提高程序執(zhí)行效率，并且具有很強(qiáng)的靈活性。 本文的基本結(jié)論是，在快速網(wǎng)絡(luò)的支持下，利用空閑主存構(gòu)造虛擬二級存儲(chǔ)設(shè)備不 僅是可能的，而且是可行的、可靠的，與具有同等(甚至更高)帶寬的磁盤相比，它可 以顯著提高衛(wèi)O性能。 關(guān)鍵詞:網(wǎng)絡(luò)主存，部分匹配預(yù)測，Markov，存儲(chǔ)層次，工作站集群，空閑資源，可靠 性，內(nèi)核級通信
【圖文】：

6、32、64緩沖區(qū)混合頁面失效算法的預(yù)測結(jié)果

擴(kuò)今擴(kuò)尹矛尹護(hù)廣尹尹、32、64緩沖區(qū)數(shù)據(jù)頁面失效下不同算法的預(yù)測結(jié)果對于數(shù)據(jù)頁面還是混合頁面，除了在某些情高的預(yù)測精度。Markovl的預(yù)測精度要比M時(shí)發(fā)現(xiàn)MarkovZ比Ma坎ovl預(yù)測頁面訪問更指令頁面、數(shù)據(jù)頁面還是混合頁面，Markov。第51頁
【學(xué)位授予單位】：國防科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2003
【分類號】：TP333

【引證文獻(xiàn)】

相關(guān)博士學(xué)位論文 前1條

1 褚瑞;基于虛擬計(jì)算環(huán)境的內(nèi)存資源共享技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

相關(guān)碩士學(xué)位論文 前2條

1 譚偉良;集群作業(yè)調(diào)度優(yōu)化技術(shù)研究[D];昆明理工大學(xué);2009年

2 林振立;云計(jì)算環(huán)境下的內(nèi)存資源共享技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2010年

本文編號：2627661