本文選題：文件系統(tǒng) + 非易失存儲(chǔ)　； 參考：《計(jì)算機(jī)研究與發(fā)展》2015年06期

【摘要】：在文件系統(tǒng)進(jìn)行用戶數(shù)據(jù)和元數(shù)據(jù)的持久化過(guò)程中,如果出現(xiàn)異常掉電或系統(tǒng)崩潰,可能導(dǎo)致文件系統(tǒng)出現(xiàn)數(shù)據(jù)的不一致性問(wèn)題.現(xiàn)有的Ext4文件系統(tǒng)通過(guò)寫前日志(write-ahead logging,WAL)技術(shù)結(jié)合事務(wù)機(jī)制來(lái)保證持久化操作的一致性.寫前日志技術(shù)將文件系統(tǒng)元數(shù)據(jù)寫入磁盤2次,元數(shù)據(jù)的粒度小、數(shù)量大、重復(fù)度高,影響了程序的性能,也縮短了Flash存儲(chǔ)介質(zhì)的使用壽命.針對(duì)這一問(wèn)題,提出了使用新型非易失存儲(chǔ)(non-volatile memory,NVM)作為存放日志的獨(dú)立外部設(shè)備,并通過(guò)存取指令(load/store)接口直接訪問(wèn);同時(shí)使用倒序掃描(reverse scan)技術(shù)對(duì)檢查點(diǎn)(checkpoint)流程進(jìn)行優(yōu)化,減少同一數(shù)據(jù)塊的重復(fù)寫操作.實(shí)驗(yàn)結(jié)果表明,使用NVM作為外部日志分區(qū),對(duì)于寫操作比重較大的程序,在HDD上帶寬提升接近50%;在SSD上帶寬提升達(dá)到23%;在checkpoint時(shí)使用倒序掃描之后,寫入次數(shù)降低明顯,帶寬提升接近20%.
[Abstract]:In the process of file system persistence of user data and metadata, if there is abnormal power failure or system crash, it may lead to the problem of data inconsistency in the file system. The existing Ext4 file system combines the transaction mechanism with the write-ahead logging technique to ensure the consistency of the persistence operation. The file system metadata is written to disk twice by the pre-write log technology. The metadata is small in granularity, large in quantity and high in repetition, which affects the performance of the program and shortens the service life of the Flash storage medium. In order to solve this problem, a new non-volatile memory NVM is proposed as an independent external device for storing logs, which can be accessed directly through the load-store interface of access instructions, and the checkpoint flow is optimized by using reverse scan technique. Reduce the repeat write operation of the same data block. The experimental results show that using NVM as an external log partition, for programs with a large proportion of write operations, the bandwidth increase is close to 50 on HDD, the bandwidth increase on SSD reaches 23 percent, and the number of writes decreases obviously after the use of inverted order scanning in checkpoint. Bandwidth gain is close to 20.
【作者單位】： 首都師范大學(xué)信息工程學(xué)院;計(jì)算機(jī)體系結(jié)構(gòu)國(guó)家重點(diǎn)實(shí)驗(yàn)室(中國(guó)科學(xué)院計(jì)算技術(shù)研究所);高可靠嵌入式系統(tǒng)技術(shù)北京市工程研究中心(首都師范大學(xué));
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61472260,61402302) 北京市自然科學(xué)基金項(xiàng)目(4143060) 計(jì)算機(jī)體系結(jié)構(gòu)國(guó)家重點(diǎn)實(shí)驗(yàn)室開(kāi)放課題(CARCH201203) 北京市屬高等學(xué)校人才強(qiáng)教項(xiàng)目-國(guó)外訪學(xué)(067135300100) 北京市屬高等學(xué)校創(chuàng)新團(tuán)隊(duì)建設(shè)與教師職業(yè)發(fā)展計(jì)劃基金項(xiàng)目(IDHT20150507)
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 蔡濤;牛德姣;劉揚(yáng)寬;李帥;鞠時(shí)光;;NVMMDS——一種面向非易失存儲(chǔ)器的元數(shù)據(jù)管理方法[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫志卓;李元章;左偉歡;萬(wàn)軍;何翔;譚毓安;;LSF:一種面向S-RAID 5的能量管理算法[J];北京理工大學(xué)學(xué)報(bào);2014年02期

2 陳利躍;陶濤;葉海明;盧冰;宓群超;;基于Md-tree的電力調(diào)度自動(dòng)化黑匣子系統(tǒng)技術(shù)研究[J];電信技術(shù);2015年06期

3 王振;王雷;王宇;;基于虛擬磁盤塊存儲(chǔ)的分布式文件系統(tǒng)研究[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年S2期

4 房俊華;王翰虎;陳梅;馬丹;;DB-Tree:一種高性能的閃存數(shù)據(jù)庫(kù)索引結(jié)構(gòu)[J];計(jì)算機(jī)應(yīng)用與軟件;2013年11期

5 Hong-yan LI;Nai-xue XIONG;Ping HUANG;Chao GUI;;PASS: a simple, efficient parallelism-aware solid state drive I/O scheduler[J];Journal of Zhejiang University-Science C(Computers & Electronics);2014年05期

6 魯亮;于炯;英昌甜;王政英;劉建礦;;內(nèi)存云架構(gòu)的磁盤節(jié)能策略[J];計(jì)算機(jī)應(yīng)用;2014年09期

7 Hui SUN;Xiao QIN;Chang-sheng XIE;;Exploring optimal combination of a file system and an I/O scheduler for underlying solid state disks[J];Journal of Zhejiang University-Science C(Computers & Electronics);2014年08期

8 黃嵐;孫珂;陳曉竹;周敏奇;;內(nèi)存集群計(jì)算:交互式數(shù)據(jù)分析[J];華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年05期

9 程付超;苗放;陳墾;;自適應(yīng)的分布式文件系統(tǒng)元數(shù)據(jù)管理模型[J];計(jì)算機(jī)工程與設(shè)計(jì);2014年03期

10 黃健;馮暄;翁凱;盧軍;郭本俊;;DCQD:一種物聯(lián)網(wǎng)高性能數(shù)據(jù)采集平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J];四川大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年04期

相關(guān)博士學(xué)位論文 前3條

1 劉洋;層次混合存儲(chǔ)系統(tǒng)中緩存和預(yù)取技術(shù)研究[D];華中科技大學(xué);2013年

2 謝雨來(lái);溯源的高效存儲(chǔ)管理及在安全方面的應(yīng)用研究[D];華中科技大學(xué);2013年

3 孫輝;NAND固態(tài)盤有限編程/擦除次數(shù)的評(píng)測(cè)模型及優(yōu)化方法[D];華中科技大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 陳席林;分布式持久化緩存系統(tǒng)的研究與實(shí)現(xiàn)[D];重慶大學(xué);2013年

2 何小春;Web信息挖掘服務(wù)平臺(tái)及數(shù)據(jù)備份技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2012年

3 牛琪鍇;基于閃存的海量非關(guān)系存儲(chǔ)方法研究[D];哈爾濱工業(yè)大學(xué);2012年

4 慎涵;一種基于PCM的文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

5 楊麗麗;云存儲(chǔ)網(wǎng)關(guān)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

6 陳起;高性能計(jì)算中并行文件系統(tǒng)可擴(kuò)展元數(shù)據(jù)服務(wù)的研究[D];華中科技大學(xué);2013年

7 汪紅敏;基于固態(tài)硬盤的倒排索引動(dòng)態(tài)更新策略及其優(yōu)化研究[D];華中科技大學(xué);2013年

8 陳華;面向多媒體存儲(chǔ)的FAT文件系統(tǒng)研究與應(yīng)用[D];華中科技大學(xué);2013年

9 肖飛;分布式文件系統(tǒng)Cappella日志設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

10 常誠(chéng);基于PaaS云存儲(chǔ)服務(wù)的文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 陳卓;熊勁;馬燦;;基于SSD的機(jī)群文件系統(tǒng)元數(shù)據(jù)存儲(chǔ)系統(tǒng)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

2 穆飛;薛巍;舒繼武;鄭緯民;;基于定位目錄的元數(shù)據(jù)管理方法[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版)網(wǎng)絡(luò).預(yù)覽;2009年08期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 姜良華;崔建明;;Serv-U FTP服務(wù)器日志分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2010年28期

2 李玉榮;楊樹強(qiáng);賈焰;周斌;樊宇;;分布式日志服務(wù)關(guān)鍵技術(shù)研究[J];計(jì)算機(jī)工程與應(yīng)用;2006年07期

3 李哲;李先國(guó);;基于關(guān)聯(lián)規(guī)則的日志分析系統(tǒng)的研究與設(shè)計(jì)[J];微型電腦應(yīng)用;2009年03期

4 陳文;鄧韻東;釧濤;;電網(wǎng)網(wǎng)絡(luò)系統(tǒng)運(yùn)行日志分析[J];云南電力技術(shù);2011年05期

5 李燕南;劉新;蔣偉宏;趙群;;主機(jī)日志分析與研究[J];中國(guó)高新技術(shù)企業(yè);2010年04期

6 李先捷;湯艷君;;基于日志的提取已修改計(jì)算機(jī)系統(tǒng)時(shí)間的方法[J];信息網(wǎng)絡(luò)安全;2013年05期

7 劉虎球;馬超;白家駒;;面向驅(qū)動(dòng)配置的自動(dòng)日志插入方法研究[J];計(jì)算機(jī)學(xué)報(bào);2013年10期

8 方航鋒,汪海航;日志提取分析系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2004年14期

9 陳海宇;曾德勝;;基于日志的異常軟件使用模式檢測(cè)[J];淮海工學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年01期

10 袁佳;郭燕慧;;基于rabbitmq的海量日志的分布式處理[J];軟件;2013年07期

相關(guān)會(huì)議論文 前10條

1 馬辰;武斌;;一種基于攻擊事件圖的蜜網(wǎng)日志分析方法[A];虛擬運(yùn)營(yíng)與云計(jì)算——第十八屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2013年

2 周濤;;基于數(shù)據(jù)挖掘的入侵檢測(cè)日志分析技術(shù)研究[A];第二屆中國(guó)科學(xué)院博士后學(xué)術(shù)年會(huì)暨高新技術(shù)前沿與發(fā)展學(xué)術(shù)會(huì)議程序冊(cè)[C];2010年

3 陳晨;鄭康鋒;;一種基于支持向量機(jī)的蜜網(wǎng)系統(tǒng)日志分析方法[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

4 劉莉;;基于多協(xié)議技術(shù)的日志集中管理安全方案[A];2008年中國(guó)通信學(xué)會(huì)無(wú)線及移動(dòng)通信委員會(huì)學(xué)術(shù)年會(huì)論文集[C];2008年

5 耿濤;;Web日志分析在電子數(shù)據(jù)取證中的應(yīng)用[A];第二十一次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2006年

6 閆龍川;王懷宇;李楓;毛一凡;;基于Hadoop的郵件日志分析與研究[A];2012電力行業(yè)信息化年會(huì)論文集[C];2012年

7 陳慶章;王磊;毛科技;戴國(guó)勇;;基于防火墻日志的在線攻擊偵查系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)(英文)[A];全國(guó)第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2008年

8 王振亞;武斌;;基于MFI-WT算法的蜜網(wǎng)日志分析方法[A];第十七屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集[C];2012年

9 金松昌;方濱興;楊樹強(qiáng);賈焰;;基于Hadoop的網(wǎng)絡(luò)安全日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年

10 朱金清;王建新;陳志泊;;基于APRIORI的層次化聚類算法及其在IDS日志分析中的應(yīng)用[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 中航工業(yè)南方航空工業(yè)集團(tuán)(有限)公司科技與信息部 鄒滬湘;分析日志識(shí)別暴力破解[N];計(jì)算機(jī)世界;2013年

2 ;日志分析中的五個(gè)誤區(qū)[N];網(wǎng)絡(luò)世界;2004年

3 陳代壽;網(wǎng)管的四兩撥千斤[N];中國(guó)計(jì)算機(jī)報(bào);2004年

4 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;大數(shù)據(jù)日志分析借機(jī)器學(xué)習(xí)騰飛[N];網(wǎng)絡(luò)世界;2014年

5 《網(wǎng)絡(luò)世界》評(píng)測(cè)實(shí)驗(yàn)室 于洋;用好Web日志[N];網(wǎng)絡(luò)世界;2004年

6 重慶 航行者;IIS的安全[N];電腦報(bào);2002年

7 河南工業(yè)職業(yè)技術(shù)學(xué)院 邱建新;監(jiān)測(cè)Squid日志的五種方法[N];計(jì)算機(jī)世界;2005年

8 shotgun;入侵檢測(cè)初步（上）[N];電腦報(bào);2001年

9 朱閔;淺談企業(yè)核心應(yīng)用的安全審計(jì)(下)[N];網(wǎng)絡(luò)世界;2008年

10 覃進(jìn)文;在Windows 2000&&2003下快速安裝Webalizer[N];中國(guó)電腦教育報(bào);2003年

相關(guān)博士學(xué)位論文 前3條

1 饒翔;基于日志的大規(guī)模分布式軟件系統(tǒng)可信保障技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

2 曹志波;基于日志的任務(wù)建模及調(diào)度優(yōu)化的研究[D];華南理工大學(xué);2014年

3 胡蓉;WEB日志和子空間聚類挖掘算法研究[D];華中科技大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 王瀟博;基于挖掘算法的日志分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2008年

2 孫寅林;基于分布式計(jì)算平臺(tái)的海量日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2012年

3 鄧海川;日志分析系統(tǒng)的任務(wù)調(diào)度方法研究[D];南京航空航天大學(xué);2013年

4 宋浩;綜合審計(jì)平臺(tái)之后臺(tái)日志處理服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2008年

5 馮綠音;網(wǎng)絡(luò)信息系統(tǒng)日志分析與審計(jì)技術(shù)研究[D];上海交通大學(xué);2007年

6 楊書思;一種可配置的網(wǎng)絡(luò)報(bào)警日志匿名工具的設(shè)計(jì)與實(shí)現(xiàn)[D];廣州大學(xué);2009年

7 吳靜;面向異構(gòu)數(shù)據(jù)源的內(nèi)網(wǎng)綜合日志審計(jì)技術(shù)研究[D];中國(guó)工程物理研究院;2010年

8 黃靜賓;面向增量數(shù)據(jù)檢測(cè)的日志分析技術(shù)的研究[D];暨南大學(xué);2011年

9 李海峰;網(wǎng)絡(luò)日志分析技術(shù)研究與實(shí)現(xiàn)[D];北京化工大學(xué);2005年

10 朱寶金;面向云計(jì)算系統(tǒng)的日志過(guò)濾系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];杭州電子科技大學(xué);2014年

，

本文編號(hào)：1815523