本文選題：分布式存儲(chǔ)　切入點(diǎn)：糾刪碼　出處：《計(jì)算機(jī)學(xué)報(bào)》2017年01期 　論文類(lèi)型：期刊論文

【摘要】：大數(shù)據(jù)規(guī)模上體量大和增長(zhǎng)速度快的特點(diǎn)對(duì)存儲(chǔ)系統(tǒng)的性能和可擴(kuò)展性提出了嚴(yán)峻挑戰(zhàn).使用普通商用服務(wù)器構(gòu)建的分布式存儲(chǔ)系統(tǒng)服務(wù)能力強(qiáng)、成本低廉且極易擴(kuò)展,在大數(shù)據(jù)的存儲(chǔ)管理中得到了極為廣泛的應(yīng)用.分布式存儲(chǔ)系統(tǒng)龐大的節(jié)點(diǎn)數(shù)量導(dǎo)致節(jié)點(diǎn)失效情況頻發(fā),必須采用一定的容錯(cuò)技術(shù)來(lái)保證數(shù)據(jù)可靠性.常用的容錯(cuò)技術(shù)主要包括多副本技術(shù)和糾刪碼技術(shù)兩種.與多副本容錯(cuò)技術(shù)相比,糾刪碼容錯(cuò)技術(shù)能夠以低得多的存儲(chǔ)開(kāi)銷(xiāo)提供相同甚至更高的數(shù)據(jù)可靠性.隨著近年來(lái)數(shù)據(jù)規(guī)模的爆炸式增長(zhǎng),糾刪碼容錯(cuò)技術(shù)受到了業(yè)界的廣泛關(guān)注.該文綜述了分布式存儲(chǔ)中糾刪碼容錯(cuò)技術(shù)的研究現(xiàn)狀.首先,介紹了糾刪碼容錯(cuò)技術(shù)的基本原理和概念,指出了糾刪碼容錯(cuò)技術(shù)在大規(guī)模分布式存儲(chǔ)中面臨的主要技術(shù)挑戰(zhàn);然后,從編碼實(shí)現(xiàn)、糾刪碼設(shè)計(jì)、數(shù)據(jù)修復(fù)和數(shù)據(jù)更新等方面闡述了分布式存儲(chǔ)中糾刪碼容錯(cuò)技術(shù)的研究進(jìn)展,重點(diǎn)研究分析了各項(xiàng)關(guān)鍵技術(shù)的特點(diǎn)和局限性,并依據(jù)主要評(píng)價(jià)指標(biāo)對(duì)現(xiàn)有糾刪碼的編碼性能和修復(fù)性能進(jìn)行了對(duì)比和分析;最后,基于最新研究動(dòng)態(tài)指出了分布式存儲(chǔ)中糾刪容錯(cuò)技術(shù)未來(lái)的研究方向,包括同步編碼實(shí)現(xiàn)技術(shù)、低冗余再生碼設(shè)計(jì)和數(shù)據(jù)失效預(yù)測(cè)技術(shù)等.
[Abstract]:Big data's characteristics of large size and fast growth have posed a severe challenge to the performance and scalability of storage system. The distributed storage system built with ordinary commercial servers has strong service capability, low cost and easy to expand. Big data has been widely used in storage management. The large number of nodes in distributed storage system leads to frequent node failure. It is necessary to adopt certain fault-tolerant technology to ensure the reliability of data. The commonly used fault-tolerant techniques mainly include multi-replica technique and erasure code technology. Erasure code fault-tolerant technology can provide the same or higher data reliability with much lower storage overhead. Erasure code fault-tolerant technology has attracted wide attention in the industry. This paper summarizes the research status of erasure code fault-tolerant technology in distributed storage. Firstly, the basic principle and concept of erasure code fault-tolerant technology are introduced. The main technical challenges of erasure code fault-tolerant technology in large-scale distributed storage are pointed out, and then, from the coding implementation, erasure code design, In this paper, the research progress of erasure code fault-tolerant technology in distributed storage is described, and the characteristics and limitations of the key technologies are analyzed. The coding performance and repair performance of existing erasure codes are compared and analyzed according to the main evaluation indexes. Finally, the future research direction of erasure fault-tolerant technology in distributed storage is pointed out based on the latest research trends. It includes synchronous coding technology, low redundancy regenerative code design and data failure prediction technology.
【作者單位】： 國(guó)防科學(xué)技術(shù)大學(xué)并行與分布處理國(guó)家重點(diǎn)實(shí)驗(yàn)室;國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國(guó)家自然科學(xué)基金(61379052) 國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2016YFB1000101) 國(guó)家“八六三”高技術(shù)研究發(fā)展計(jì)劃項(xiàng)目(2013AA01A213) 湖南省自然科學(xué)杰出青年基金項(xiàng)目(14JJ1026) 高等學(xué)校博士學(xué)科點(diǎn)專(zhuān)項(xiàng)科研基金資助課題(20124307110015)資助~~
【分類(lèi)號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;未雨綢繆話容錯(cuò)技術(shù)[J];計(jì)算機(jī)與網(wǎng)絡(luò);2004年06期

2 夏祖德;雷鏡湖;;硬件容錯(cuò)技術(shù)[J];電子技術(shù);1987年10期

3 周修廉;陳是榮;;分布式計(jì)算機(jī)系統(tǒng)容錯(cuò)技術(shù)[J];哈爾濱科學(xué)技術(shù)大學(xué)學(xué)報(bào);1987年03期

4 梁思禮;容錯(cuò)技術(shù)在航天領(lǐng)域中的應(yīng)用[J];系統(tǒng)工程與電子技術(shù);1993年12期

5 陳萬(wàn)福;查新檢索工作中的容錯(cuò)理論與容錯(cuò)技術(shù)[J];醫(yī)學(xué)情報(bào)工作;2001年05期

6 鄭平;;容錯(cuò)技術(shù)在數(shù)據(jù)集中系統(tǒng)中的應(yīng)用[J];金融電子化;2001年11期

7 蒙建波,吳銀成,楊俊永;容錯(cuò)技術(shù)與儀表的發(fā)展[J];儀器儀表學(xué)報(bào);2002年S3期

8 黎珊珊;實(shí)時(shí)分布式計(jì)算機(jī)系統(tǒng)的容錯(cuò)技術(shù)研究[J];計(jì)算機(jī)與數(shù)字工程;2002年06期

9 張郭軍,王榮;網(wǎng)絡(luò)服務(wù)器的容錯(cuò)技術(shù)[J];渭南師范學(xué)院學(xué)報(bào);2002年05期

10 ;揭密容錯(cuò)技術(shù)的前世今生[J];計(jì)算機(jī)與網(wǎng)絡(luò);2004年16期

相關(guān)會(huì)議論文 前10條

1 蒙建波;吳銀成;楊俊永;;容錯(cuò)技術(shù)與儀表的發(fā)展[A];第三次全國(guó)會(huì)員代表大會(huì)暨學(xué)術(shù)會(huì)議論文集[C];2002年

2 王東盛;;容錯(cuò)技術(shù)在衛(wèi)星控制系統(tǒng)中的應(yīng)用[A];第十屆全國(guó)容錯(cuò)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2003年

3 李衛(wèi)東;;容錯(cuò)技術(shù)在梅鋼的應(yīng)用[A];全國(guó)冶金自動(dòng)化信息網(wǎng)2012年年會(huì)論文集[C];2012年

4 龐海洋;李新明;;軟件容錯(cuò)[A];第十屆全國(guó)容錯(cuò)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2003年

5 閔應(yīng)驊;;網(wǎng)絡(luò)容錯(cuò)與安全研究述評(píng)[A];第十屆全國(guó)容錯(cuò)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2003年

6 于洪濤;黃文軒;王和;;一種雙機(jī)容錯(cuò)方案及其應(yīng)用[A];開(kāi)創(chuàng)新世紀(jì)的通信技術(shù)——第七屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集[C];2001年

7 龔健;楊孟飛;;硬件進(jìn)化系統(tǒng)的容錯(cuò)性研究[A];第十四屆全國(guó)容錯(cuò)計(jì)算學(xué)術(shù)會(huì)議(CFTC'2011)論文集[C];2011年

8 歐陽(yáng)一鳴;余雅瓊;郭凱;;基于同構(gòu)片上網(wǎng)絡(luò)拓?fù)淇芍貥?gòu)的容錯(cuò)硬件結(jié)構(gòu)[A];第六屆中國(guó)測(cè)試學(xué)術(shù)會(huì)議論文集[C];2010年

9 羅宏;宿紅毅;戰(zhàn)守義;;無(wú)線傳感器網(wǎng)絡(luò)故障診斷與容錯(cuò)技術(shù)研究進(jìn)展[A];第八屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2010年

10 高航;羅宇;;RTEMS上基于軟件重算的容錯(cuò)支撐設(shè)計(jì)研究[A];2008年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2008年

相關(guān)重要報(bào)紙文章 前10條

1 艾先;容錯(cuò)技術(shù)掃描[N];中國(guó)貿(mào)易報(bào);2004年

2 ;容錯(cuò)技術(shù)的發(fā)展與應(yīng)用展望[N];計(jì)算機(jī)世界;2001年

3 劉雨;讓容錯(cuò)服務(wù)器“平民化”[N];中國(guó)計(jì)算機(jī)報(bào);2007年

4 常文杰;新容錯(cuò)浪潮[N];網(wǎng)絡(luò)世界;2004年

5 胡志敏;“雙核”容錯(cuò)服務(wù)器來(lái)了[N];政府采購(gòu)信息報(bào);2007年

6 ;容錯(cuò)技術(shù)應(yīng)用前景[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2004年

7 孔令男;容錯(cuò)技術(shù)高端商用領(lǐng)域的核心[N];中國(guó)國(guó)門(mén)時(shí)報(bào);2004年

8 遼河石油勘探局物資公司 趙雁　林斌;存儲(chǔ)容錯(cuò)：魚(yú)與熊掌可以兼得[N];中國(guó)計(jì)算機(jī)報(bào);2010年

9 記者劉雨;Stratus 加大中國(guó)行業(yè)市場(chǎng)拓展[N];中國(guó)計(jì)算機(jī)報(bào);2003年

10 樊強(qiáng);容錯(cuò)服務(wù)器 服務(wù)未來(lái)[N];中國(guó)電腦教育報(bào);2004年

相關(guān)博士學(xué)位論文 前10條

1 黃達(dá);基于憶阻器的自治容錯(cuò)技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2014年

2 孫欽瑩;大規(guī)模自然災(zāi)害應(yīng)急準(zhǔn)備的容錯(cuò)規(guī)劃[D];哈爾濱工業(yè)大學(xué);2016年

3 李旭;基于非易失內(nèi)存的高性能計(jì)算容錯(cuò)技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

4 劉玲霞;Web服務(wù)容錯(cuò)關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2006年

5 林勇;基于進(jìn)化型硬件的容錯(cuò)方法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2007年

6 孫曉星;面向方面的軟件容錯(cuò)模型設(shè)計(jì)與分析技術(shù)[D];華東理工大學(xué);2012年

7 李海山;面向恢復(fù)的容錯(cuò)計(jì)算技術(shù)研究[D];哈爾濱工程大學(xué);2007年

8 肖勇;面向航天的多源信息流系統(tǒng)綜合診斷與容錯(cuò)研究[D];東華大學(xué);2010年

9 趙天緒;集成電路缺陷分布模型和容錯(cuò)技術(shù)研究[D];西安電子科技大學(xué);1999年

10 朱萍;硬實(shí)時(shí)容錯(cuò)調(diào)度算法研究[D];華中科技大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 鄭福真;高擴(kuò)展高容錯(cuò)流式處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2015年

2 吳方軍;MPI環(huán)境下多副本容錯(cuò)技術(shù)研究[D];東南大學(xué);2015年

3 梁賀斌;基于可信度的DSP軟件冗余容錯(cuò)表決方法研究[D];中國(guó)科學(xué)院國(guó)家空間科學(xué)中心;2016年

4 孟沖;小型無(wú)人機(jī)負(fù)荷分擔(dān)式容錯(cuò)飛行控制軟件設(shè)計(jì)[D];南京航空航天大學(xué);2015年

5 關(guān)國(guó)棟;Hadoop容錯(cuò)調(diào)度技術(shù)研究[D];西南交通大學(xué);2016年

6 楊爽;基于FPGA的CAN接口抗SEU容錯(cuò)方法研究[D];哈爾濱工業(yè)大學(xué);2016年

7 曹舒婷;基于TSV的3D NoC容錯(cuò)及熱優(yōu)化設(shè)計(jì)技術(shù)研究[D];合肥工業(yè)大學(xué);2016年

8 代征;彈性函數(shù)在彈性容錯(cuò)技術(shù)中的應(yīng)用研究[D];武漢大學(xué);2004年

9 吳代賢;移動(dòng)Agent的容錯(cuò)方法研究[D];西南師范大學(xué);2004年

10 張國(guó)強(qiáng);星載并行處理計(jì)算機(jī)系統(tǒng)容錯(cuò)技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2006年

，

本文編號(hào)：1649320