分布共享存儲(DSM)系統(tǒng)支持全系統(tǒng)統(tǒng)一地址編程空間,有效地將傳統(tǒng)的共享主存多處理器系統(tǒng)和分布主存系統(tǒng)的優(yōu)點結(jié)合起來,兼具可編程性好和可擴展性高的優(yōu)勢,成為大規(guī)模并行高性能計算機研究領(lǐng)域首選的硬件平臺。采用CC-NUMA機制是實現(xiàn)DSM系統(tǒng)的有效技術(shù)途徑,但如何高效維護Cache一致性是實現(xiàn)CC-NUMA系統(tǒng)的難點之一,它不僅決定著系統(tǒng)的正確性,而且對系統(tǒng)的性能有著極其重要的影響。目前國內(nèi)外對Cache一致性的研究主要集中在目錄結(jié)構(gòu)的可擴展性和協(xié)議的高效實現(xiàn)兩方面。 由于CC-NUMA系統(tǒng)中各處理器通過共享存儲器進行通信,因此,處理器訪問存儲器的時延,特別是當處理器數(shù)目非常大的時候,處理器訪問遠程存儲器的時延將極大地影響計算機系統(tǒng)的性能。這樣,如何盡可能地提高訪存帶寬、降低訪存延遲、減小遠程訪存與本地訪存時延的差距就成為CC-NUMA系統(tǒng)是否好用、實用的關(guān)鍵。 針對這些問題,本文圍繞如何實現(xiàn)高效的CC-NUMA系統(tǒng)存儲體系結(jié)構(gòu),著重對基于目錄的Cache一致性協(xié)議的可擴展性、目錄協(xié)議的優(yōu)化技術(shù)、提高訪存帶寬、降低訪存延遲,以及大規(guī)模CC-NUMA系統(tǒng)模擬驗證環(huán)境等關(guān)鍵技術(shù)展開研究探索。本文的主要工作和創(chuàng)新點是: 1.提出了一種基于SMP結(jié)點的可擴展CC-NUMA體系結(jié)構(gòu)模型—SCDSM,并在此系統(tǒng)上實現(xiàn)了一種高效、無死鎖、基于目錄的Cache一致性協(xié)議。在協(xié)議實現(xiàn)中,針對共享讀總線臟命中時Cache狀態(tài)和目錄狀態(tài)不一致的問題,提出了一種強制寫回(FWB)方法,解決了目錄協(xié)議和監(jiān)聽協(xié)議兼容的難題;提出了本地訪存請求直接轉(zhuǎn)發(fā)(LMRDF)技術(shù),解決了基于SMP結(jié)構(gòu)的CC-NUMA系統(tǒng)由于等待總線監(jiān)聽結(jié)果造成的請求延遲問題,SCDSM系統(tǒng)性能由此可以提高10%-15%。 2.為多處理器系統(tǒng)中共享數(shù)據(jù)的分布建立了馬爾科夫模型,并對共享數(shù)據(jù)的分布模式進行了分析,得出結(jié)論:CC-NUMA系統(tǒng)中共享數(shù)據(jù)的平均Cache副本數(shù)一般比較小。該理論分析結(jié)果對我們提出更有效的目錄組織方案有很好的指導(dǎo)意義。 3.針對目錄存儲開銷影響Cache一致性協(xié)議的可擴展性問題,本文提出了基于目錄Cache的兩級目錄組織方案,有效地降低了目錄信息所需要的存儲空間,使協(xié)議實現(xiàn)具有較好的可擴展性。對基于目錄Cache的兩級目錄模型進行了模擬和性能驗證,結(jié)果表明,并行測試程序的運行時間都有不同程度的減少。 4.存儲墻問題是影響系統(tǒng)性能進一步提升的瓶頸,如何降低訪存延遲是存儲系統(tǒng)設(shè)計面臨的巨大挑戰(zhàn)。本文提出了四種不同約束強度的訪存調(diào)度算法,并對四種調(diào)度算法進行了性能分析,分析結(jié)果表明,帶體地址沖突消解和防餓死機制的貪婪啟發(fā)式訪存調(diào)度算法具有最佳性價比。具體實現(xiàn)了采用帶體地址沖突消解和防餓死機制的貪婪啟發(fā)式訪存調(diào)度算法的DDR2訪存控制器。 5.為了更有效地模擬驗證復(fù)雜系統(tǒng)和大規(guī)模系統(tǒng)的正確性,本文提出了分布環(huán)境下的多結(jié)點模擬驗證平臺CoSim:為了配合模擬測試任務(wù)的進行以及Cache一致性協(xié)議的功能驗證,本文提出了CMCV模型。在CoSim平臺上,對Verilog代碼編寫的SCDSM系統(tǒng)進行了全面的功能驗證。另外還使用Verilog語言構(gòu)造了類似Stream Copy程序行為的QSCV模型,對SCDSM系統(tǒng)的LMRDF技術(shù)和訪存帶寬進行了評測和分析。 以上關(guān)鍵技術(shù)和相應(yīng)解決方案均已在工程項目中得到實際應(yīng)用,對推進高效的CC-NUMA系統(tǒng)存儲體系結(jié)構(gòu)的進一步研究具有一定的理論意義和重要參考價值。
【學位單位】：國防科學技術(shù)大學
【學位級別】：博士
【學位年份】：2007
【中圖分類】：TP302.1
【部分圖文】：

CTICache通過全局物理地址進行索引和標記。quent公司于1996年安裝成功NUMA一Q2000【28]系統(tǒng)。NuMA一Q的基本是一個4處理器的SMP電路板，稱為Quad。系統(tǒng)最多可擁有63個Qua有252個處理器，所有Quad中的局部存儲器通過基于SCI(ScalabneeInterfaee)的互連網(wǎng)絡(luò)(IQ一link和IQ一Plus)粘合成一個全局存儲器。硬件的基于目錄的協(xié)議實現(xiàn)高速緩存的一致性。因為一個Quad本身就有部存儲器(4GB)和一個大容量的遠程高速緩存(32MB)，大部分數(shù)據(jù)個Quad內(nèi)就可完成。公司Origin2000[2l]的設(shè)計目標是最小化遠程訪存和本地訪存的時延比件和軟件的支持來確保盡可能多的存儲訪問是本地的。為了達到遠程和時延比盡可能小的目標，origin主要采取了兩個措施:一是在軟硬件方面持頁遷移和復(fù)制，系統(tǒng)為每頁提供了一個硬件存儲訪問計數(shù)器和一個塊，能以接近訪存峰值的速度來拷貝數(shù)據(jù)，還提供了減少TLB更新代價的是提供高性能的本地和全局互連以及大量的同步原語。

國防科學技術(shù)大學研究生院博士學位論文LimitLEsS(Limiteddireeto叮LoeallyExtendedthroughSoftwareSupport)協(xié)議來維持Cache一致性。LimitLESS協(xié)議是一種軟硬件結(jié)合的目錄協(xié)議，硬件處理情況，軟件處理目錄項溢出。當共享數(shù)據(jù)塊的結(jié)點數(shù)超過有限指針目錄項中針數(shù)5時，即發(fā)生目錄項溢出，LimitLESS協(xié)議通過軟件支持，在Home結(jié)點地主存中擴展目錄項的指針數(shù)，從而在邏輯上實現(xiàn)位向量目錄。通信和存儲單元(CMMU)作為一個獨立的芯片，負責處理來自處理器和網(wǎng)絡(luò)的數(shù)據(jù)請Alewife結(jié)構(gòu)如圖2.2所示。

同station內(nèi)Home結(jié)點主存與處理器Cache之間的一致性以及本地網(wǎng)絡(luò)Cache與處理器Cache之間的一致性。為了實現(xiàn)兩個層次的一致性維護，NUMAchine采用了分層的兩級目錄。在網(wǎng)絡(luò)級，Home結(jié)點的主存為每個數(shù)據(jù)塊維護了一個完整的路由掩碼(Mask)目錄，路由掩碼指出可能擁有該數(shù)據(jù)副本的Station。在station級，對每個Cache塊，目錄含有處理器掩碼，指出本station內(nèi)哪個處理器擁有該數(shù)據(jù)副本。具體的協(xié)議一致性維護流程請參見文獻【89】。2.2.5IntergritySuPerdomeIntegritysuperdome是Hp公司最新推出的高端服務(wù)器[62]，系統(tǒng)采用基于目錄的Cache一致性協(xié)議，基本組成部件是cell，每個ceH由4個雙核ItaniumZ處理器模塊(mxZmodule)和一個10端口的cell控制器構(gòu)成。Cell控制器控制所有的數(shù)據(jù)傳輸，維護Caehe一致性。Cell內(nèi)部以及eell之間均采用erossbar互連。HPIntegritysuperdome結(jié)構(gòu)如圖2.5所示。.....................................」」

【引證文獻】

相關(guān)博士學位論文 前1條

1 劉德峰;面向存儲級并行的多核處理器關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2011年

相關(guān)碩士學位論文 前1條

1 廖春科;SoC軟硬件協(xié)同設(shè)計關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2009年

本文編號：2831171