在文件系統(tǒng)和I／O領(lǐng)域，提高性能和I／O的可擴(kuò)展性是人們的研究目標(biāo)。在磁盤(pán)存儲(chǔ)系統(tǒng)、網(wǎng)絡(luò)文件系統(tǒng)、并行文件系統(tǒng)和并行I／O界面上已經(jīng)有了很多研究成果，但在可擴(kuò)展并行系統(tǒng)的I／O上，既缺乏統(tǒng)一的標(biāo)準(zhǔn)，又缺乏對(duì)影響因素的深入了解�？蓴U(kuò)展I／O（SIO）研究集中在硬件系統(tǒng)、操作系統(tǒng)支持、語(yǔ)言編譯器和Runtime系統(tǒng)的支持、應(yīng)用的I／O特征分析，和需要大量I／O的并行應(yīng)用設(shè)計(jì)五個(gè)方面。本文著重于一種可擴(kuò)展I／O標(biāo)準(zhǔn)界面的設(shè)計(jì)、一個(gè)可擴(kuò)展文件系統(tǒng)的設(shè)計(jì)，以及在大規(guī)模并行處理系統(tǒng)和機(jī)群體系結(jié)構(gòu)系統(tǒng)上參考實(shí)現(xiàn)和原型系統(tǒng)的實(shí)現(xiàn)與評(píng)價(jià)。 本文提出一種新型的I／O編程界面，稱(chēng)作“可擴(kuò)展I／O底層應(yīng)用編程界面”（SIO-LLAPI），這種簡(jiǎn)單的以性能為目標(biāo)的底面界面是用以支持文件系統(tǒng)開(kāi)發(fā)者有效地開(kāi)發(fā)高層的并行I／O界面和為并行I／O的研究者提供基礎(chǔ)平臺(tái)。這項(xiàng)API設(shè)計(jì)工作是美國(guó)NSF組織的Scalable I／O Initiative項(xiàng)目的一部分。 本文描述了在Intel Paragon多機(jī)系統(tǒng)上SIO-LLAPI的一種參考實(shí)現(xiàn)（Reference Implementation）。在這個(gè)SIO... 

【文章來(lái)源】：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院計(jì)算技術(shù)研究所)北京市

【文章頁(yè)數(shù)】：163 頁(yè)

【學(xué)位級(jí)別】：博士

【文章目錄】：
摘要
Abstract
第一章 引言
    1.1 可擴(kuò)展I/O
    1.2 適用性
    1.3 參考實(shí)現(xiàn)和原型系統(tǒng)
    1.4 論文的貢獻(xiàn)
    1.5 本文的組織
第二章 背景和相關(guān)研究
    2.1 文件系統(tǒng)
        2.1.1 基本概念
        2.1.2 文件緩存
        2.1.3 文件系統(tǒng)出錯(cuò)恢復(fù)
    2.2 磁盤(pán)存儲(chǔ)系統(tǒng)
        2.2.1 基本概念
        2.2.2 RAID
        2.2.3 磁盤(pán)優(yōu)化
        2.2.4 日志式文件系統(tǒng)
        2.2.5 邏輯磁盤(pán)
    2.3 網(wǎng)絡(luò)文件系統(tǒng)
        2.3.1 基本概念
        2.3.2 NFS
        2.3.3 Sprite
        2.3.4 Zebra
        2.3.5 xFS
    2.4 并行文件系統(tǒng)
        2.4.1 條塊化機(jī)制
        2.4.2 Intel CFS
        2.4.3 Intel PFS
        2.4.4 IBM Vesta和PIOFS
    2.5 并行I／O界面
        2.5.1 高層界面研究
        2.5.2 PASSION
        2.5.3 ADIO
    2.6 可擴(kuò)展I／O研究的重要方向
        2.6.1 硬件系繞
        2.6.2 操作系統(tǒng)支持
        2.6.3 語(yǔ)言、編譯器和運(yùn)行系統(tǒng)的支持
        2.6.4 I／O特征分析
        2.6.5 并行I／O應(yīng)用程序
    2.7 若干重要問(wèn)題
        2.7.1 文件服務(wù)器瓶頸
        2.7.2 Hints研究
        2.7.3 I／O可擴(kuò)展性
        2.7.4 可用性
第三章 可擴(kuò)展I／O底層API設(shè)計(jì)
    3.1 SCALABLE I／O INITIATIVE動(dòng)機(jī)
    3.2 可擴(kuò)展I／O系統(tǒng)的結(jié)構(gòu)
    3.3 底層API的目標(biāo)
    3.4 底層API功能列表
    3.5 底層API的主要特色
        3.5.1 同步和異步I／O
        3.5.2 Scatter-gather方式文件和內(nèi)存區(qū)域
        3.4.3 文件存取模式Hints
        3.4.4 應(yīng)用程序控制的客戶端緩存
        3.4.5 文件控制操作
        3.4.6 Collective I／O支持
        3.4.7 Fast Copy支持
        3.4.8 What's Not
第四章 PARAGON多計(jì)算機(jī)上的參考實(shí)現(xiàn)
    4.1 INTEL PARAGON多計(jì)算機(jī)
        4.1.1 體系結(jié)構(gòu)
        4.1.2 通信系統(tǒng)
        4.1.3 Intel PFS術(shù)語(yǔ)
        4.1.4 測(cè)試平臺(tái)
    4.2 參考實(shí)現(xiàn)
        4.2.1 設(shè)計(jì)均衡
            4.2.1.1 文件系統(tǒng)數(shù)據(jù)結(jié)構(gòu)和文件數(shù)據(jù)布局
            4.2.1.2 文件系統(tǒng)體系結(jié)構(gòu)
            4.2.1.3 文件系統(tǒng)安全性
        4.2.2 核心功能
            4.2.2.1 open／close
            4.2.2.2 同步讀寫(xiě)
            4.2.2.3 異步I／O
            4.2.2.4 I／O控制
            4.2.2.5 其它功能
        4.2.3 可選機(jī)制
            4.2.3.1 客戶端緩存
            4.2.3.2 合作式緩存
            4.2.3.3 預(yù)取和服務(wù)器端調(diào)度
        4.2.4 Collective I／O
        4.2.5 Fast Copy
    4.3 設(shè)計(jì)和性能評(píng)價(jià)
        4.3.1 實(shí)現(xiàn)容易
        4.3.2 性能
            4.3.2.1 基本讀寫(xiě)性能
            4.3.2.2 Collective I／O和Fast Copy
        4.3.3 API的靈活性
    4.4 經(jīng)驗(yàn)和實(shí)現(xiàn)建議
        4.4.1 讀寫(xiě)性能因素
        4.4.2 客戶端緩存
        4.4.3 快速I(mǎi)PC機(jī)制的重要性
        4.4.4 其它細(xì)節(jié)
第五章 支持I／O高層界面
    5.1 SIO-LLAPI之上的PFS
        5.1.1 方法
        5.1.2 實(shí)現(xiàn)細(xì)節(jié)
        5.1.3 性能評(píng)價(jià)
    5.2 ADIO和其它界面
    5.3 應(yīng)用的經(jīng)驗(yàn)
    5.4 討論
        5.4.1 功能性支持
        5.4.2 SIO-LLAPI的限制
        5.4.3 未回答的問(wèn)題
第六章 機(jī)群系統(tǒng)上可擴(kuò)展I／O的研究和原型
    6.1 曙光2000系統(tǒng)
        6.1.1 機(jī)群體系結(jié)構(gòu)
        6.1.2 通信機(jī)制
        6.1.3 文件系統(tǒng)和存儲(chǔ)結(jié)構(gòu)
        6.1.4 測(cè)試平臺(tái)
    6.2 COSMOS文件系統(tǒng)
        6.2.1 設(shè)計(jì)目的
        6.2.2 設(shè)計(jì)特色
            6.2.2.1 單一映像
            6.2.2.2 Unix文件語(yǔ)義
            6.2.2.3 Server-less體系結(jié)構(gòu)
            6.2.2.4 軟件RAID和并行I／O
            6.2.2.5 管理分布
        6.2.3 文件系統(tǒng)的結(jié)構(gòu)和數(shù)據(jù)布局
            6.2.3.1 超級(jí)塊
            6.2.3.2 l-node結(jié)構(gòu)和目錄
            6.2.3.3 條塊組和子文件
        6.2.4 實(shí)現(xiàn)和關(guān)鍵技術(shù)
            6.2.4.1 核心擴(kuò)充
            6.2.4.2 Client Daemon
            6.2.4.3 Manager Daemon
            6.2.4.4 Storage Daemon
            6.2.4.5 通信機(jī)制和互斥操作
        6.2.5 性能評(píng)價(jià)
    6.3 SIO-LLAPI在COSMOS上的原型設(shè)計(jì)
        6.3.1 研究的預(yù)期目的
        6.3.2 主要設(shè)計(jì)決定
            6.3.2.1 用戶空間實(shí)現(xiàn)
            6.3.2.2 COSMOS兼容的文件系統(tǒng)和存儲(chǔ)結(jié)構(gòu)
            6.3.2.3 Two-layer方法和模塊設(shè)計(jì)
            6.3.2.4 Directory Daemon
        6.3.3 原型實(shí)現(xiàn)
            6.3.3.1 SIO API相關(guān)層
            6.3.3.2 文件系統(tǒng)結(jié)構(gòu)相關(guān)模塊
            6.3.3.3 對(duì)COSMOS Daemon的修改
        6.3.4 性能評(píng)價(jià)
        6.3.5 討論
    6.4 機(jī)群文件系統(tǒng)的研究問(wèn)題
        6.4.1 可靠性和出錯(cuò)恢復(fù)
        6.4.2 高可用性支持
        6.4.3 高效通信模式
        6.4.4 支持Read-Intensive應(yīng)用
        6.4.5 用戶控制的策略
第七章 結(jié)論和進(jìn)一步的工作
參考文獻(xiàn)
作者簡(jiǎn)介


【參考文獻(xiàn)】：
碩士論文
[1]MPI-IO中基于模式感知的數(shù)據(jù)重組織[D]. 何軍.湖南大學(xué) 2012



本文編號(hào)：3456375