【摘要】： 計(jì)算機(jī)存儲(chǔ)系統(tǒng),特別是相對(duì)慢速的外存儲(chǔ)系統(tǒng)一直是影響計(jì)算機(jī)整體性能的“瓶頸”。目前,機(jī)群系統(tǒng)已經(jīng)逐漸成為超級(jí)計(jì)算機(jī)與超級(jí)服務(wù)器的主流結(jié)構(gòu),但外存儲(chǔ)系統(tǒng)仍然是它進(jìn)一步提高性能與可靠性的主要障礙。近年來(lái),隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,基于機(jī)群節(jié)點(diǎn)間高速互連網(wǎng)絡(luò)的機(jī)群文件系統(tǒng)已成為解決機(jī)群外存儲(chǔ)系統(tǒng)問(wèn)題的有效策略之一。然而在機(jī)群系統(tǒng)中,不同類(lèi)型應(yīng)用在文件存取性能及語(yǔ)義需求等方面存在較大的差異,如何為具有不同需求的應(yīng)用提供足夠的文件I/O性能,并保證其文件存取操作的正確執(zhí)行已成為機(jī)群文件系統(tǒng)設(shè)計(jì)的關(guān)鍵問(wèn)題。 本文結(jié)合曙光機(jī)群文件系統(tǒng)DCFS的設(shè)計(jì)與實(shí)現(xiàn),對(duì)如何有效提高機(jī)群文件系統(tǒng)性能、保證應(yīng)用的正確執(zhí)行方面進(jìn)行了較有成效的研究,主要內(nèi)容包括:以COSMOS文件系統(tǒng)為原型系統(tǒng),研究了機(jī)群文件系統(tǒng)中通信子系統(tǒng)對(duì)整體性能的影響;研究了機(jī)群文件系統(tǒng)結(jié)構(gòu)優(yōu)化對(duì)元數(shù)據(jù)操作的性能影響;以支持MPI-IO并行計(jì)算為目標(biāo),研究了在支持客戶端緩存情況下,如何實(shí)現(xiàn)文件系統(tǒng)客戶端緩存一致性語(yǔ)義的協(xié)議。具體研究成果如下: (1)首次提出并發(fā)帶寬利用率的概念,以量化的方式來(lái)評(píng)價(jià)系統(tǒng)整體效率與服務(wù)器外存儲(chǔ)子系統(tǒng)及節(jié)點(diǎn)間通信機(jī)制間的關(guān)系,有助于人們更加合理地設(shè)計(jì)與部署機(jī)群文件系統(tǒng)。 (2)提出了改善并發(fā)帶寬利用率的一些策略,在基于曙光3000的機(jī)群文件系統(tǒng)原型中,著重研究了通信子系統(tǒng)對(duì)并發(fā)帶寬利用率的影響。在原型系統(tǒng)中應(yīng)用了基于Myrinet高速交換網(wǎng)絡(luò)的精簡(jiǎn)通信協(xié)議BCL-3,性能測(cè)試的結(jié)果表明,相對(duì)于使用Ethernet網(wǎng)絡(luò)與TCP/IP協(xié)議的系統(tǒng),機(jī)群文件系統(tǒng)客戶節(jié)點(diǎn)文件I/O帶寬得到了顯著提高,系統(tǒng)并發(fā)帶寬利用率從40%以下提高到了90%左右。 (3)提出了FPLS及FPLS+路徑解析優(yōu)化協(xié)議,通過(guò)調(diào)整元數(shù)據(jù)分布結(jié)構(gòu)以及改進(jìn)客戶節(jié)點(diǎn)核心路徑解析操作算法,來(lái)提高信息服務(wù)類(lèi)應(yīng)用中大量元數(shù)據(jù)存取操作性能。 模擬實(shí)驗(yàn)結(jié)果表明,在最佳情況下,新型路徑解析協(xié)議可將路徑查找時(shí)間減少到普通路徑解析協(xié)議所用時(shí)間的20.2%。 (4)提出了一種可直接操縱文件系統(tǒng)客戶端緩存的擴(kuò)展文件鎖協(xié)議。 這種協(xié)議可以使機(jī)群文件系統(tǒng)在支持客戶端緩存的情況下,能滿足并行計(jì)算應(yīng)用接口MPI-IO對(duì)底層文件系統(tǒng)的并發(fā)共享文件I/O的語(yǔ)義需求。與一些現(xiàn)有系統(tǒng)中的相關(guān)實(shí)現(xiàn)策略相比,該協(xié)議具有簡(jiǎn)單可靠的優(yōu)點(diǎn)。
【圖文】：

據(jù)傳輸率可以達(dá)到 160MB/s[79]。另外，隨著半導(dǎo)體技術(shù)的發(fā)展與成本的下降，人們?cè)噲D給磁盤(pán)設(shè)備增添更多的能，，如卡內(nèi)基.梅隆大學(xué)的 Active Disk[5]和 ANSI 的 T10 委員會(huì)提出的 OBD[86]都試將更多的控制權(quán)賦予磁盤(pán)控制器，讓它來(lái)更加合理地分布數(shù)據(jù)，另外還期望這種術(shù)獲得更好的可擴(kuò)展能力[116]。為了有效發(fā)揮智能控制器的作用，目前一般磁盤(pán)的內(nèi)置緩存容量已經(jīng)在 2MB 以上，4MB 甚至 8MB 的驅(qū)動(dòng)器也已經(jīng)出現(xiàn)，如昆騰司的 Atlas 10K II 系列硬盤(pán)。.2.2 磁盤(pán)陣列技術(shù)1988 年加州大學(xué) Berkeley 分校的 David A. Patterson 等人首次提出了廉價(jià)磁盤(pán)冗陣列（Redundant Arrays of Inexpensive Disks，RAID[16][17]）等級(jí)劃分的概念（也人認(rèn)為應(yīng)該是獨(dú)立磁盤(pán)冗余陣列，Redundant Arrays of Independent Disks）。他們根容錯(cuò)級(jí)別與數(shù)據(jù)分布方式的不同，提出了五種不同的 RAID，即 RAID1——RAID5 5 級(jí)，并把傳統(tǒng)的無(wú)冗余結(jié)構(gòu)的磁盤(pán)陣列結(jié)構(gòu)定義為 RAID0 級(jí)。RAID 由于采取據(jù)分塊技術(shù)，即在多塊磁盤(pán)上交叉存放數(shù)據(jù)，使得多個(gè)磁盤(pán)可以并行工作，從而改 I/O 響應(yīng)時(shí)間。另外，采用冗余技術(shù)，極大地提高了磁盤(pán)陣列的可靠性和可用性。過(guò)去一些年里，又產(chǎn)生了一些新的磁盤(pán)分級(jí)，如 RAID10、RAID6 與 EVENODD。圖 1.1 給出了幾種典型的 RAID 結(jié)構(gòu)。

6圖 1.2 SCSI-3 體系結(jié)構(gòu)示意圖（來(lái)自參考文獻(xiàn)[79]）從圖 1.2 中可以看出，SCSI-3 協(xié)議支持的設(shè)備類(lèi)型包括了塊設(shè)備（包括磁盤(pán)驅(qū)動(dòng)器）、精簡(jiǎn)塊設(shè)備、流設(shè)備（磁帶機(jī)）、可更改媒體、多媒體設(shè)備（如 DVD）、控制器設(shè)備（RAID 設(shè)備）以及可封裝服務(wù)，此外還提供了對(duì)基于對(duì)象的存儲(chǔ)（OSD）與不同協(xié)議族的 SCSI 橋接器之間命令集支持。從 SCSI-3 的體系結(jié)構(gòu)模型來(lái)看，它同時(shí)支持串行接口（IEEE 1394）與并行接口（SPI-2~SPI-5），光纖通道協(xié)議、IBM 的 SSA（Serial StorageArchitecture）、SCSI overST（Scheduled Transfer）、SCSI RDMA（InfiniBand）與 iSCSI 等協(xié)議�？偟膩�(lái)看，SCSI 外設(shè)接口是一種配置靈活、可擴(kuò)展、支持多任務(wù)操作的通用接口總線技術(shù)，可期望在將來(lái)相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)還將繼續(xù)得到發(fā)展。1.2.3.2 ATA/IDEATA/IDE 協(xié)議則從開(kāi)始起就與 SCSI 協(xié)議定位完全不同，在初始時(shí)它僅僅支持磁盤(pán)驅(qū)動(dòng)器設(shè)備
【學(xué)位授予單位】：中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2002
【分類(lèi)號(hào)】：TP333;TP338

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 賀勁,徐志偉,孟丹,馬捷,馮軍;基于高速通信協(xié)議的COSMOS機(jī)群文件系統(tǒng)性能研究[J];計(jì)算機(jī)研究與發(fā)展;2002年02期

2 賀勁,孟丹;曙光機(jī)群文件系統(tǒng)DCFS負(fù)載平衡策略[J];計(jì)算機(jī)工程與應(yīng)用;2002年14期

3 吳思寧;Linux機(jī)群文件系統(tǒng)的研究與實(shí)現(xiàn)[J];微電子學(xué)與計(jì)算機(jī);2002年05期

本文編號(hào)：2692837