本文選題：技術(shù)創(chuàng)新平臺(tái) + 冗余容錯(cuò)HDFS多目標(biāo)優(yōu)化　； 參考：《南京工業(yè)大學(xué)》2012年碩士論文

【摘要】：企業(yè)、大學(xué)以及科研機(jī)構(gòu)等組織之間的產(chǎn)學(xué)研合作能夠有效加快科學(xué)技術(shù)成果的產(chǎn)業(yè)化、商品化、和國(guó)際化。技術(shù)創(chuàng)新平臺(tái)為產(chǎn)學(xué)研合作提供了一種新的平臺(tái)，，這種平臺(tái)能夠使各參與方跨越地理障礙，進(jìn)行全天候的協(xié)作創(chuàng)新，將教育、科技和經(jīng)濟(jì)結(jié)合，形成一個(gè)產(chǎn)學(xué)研合作的有機(jī)體。實(shí)現(xiàn)技術(shù)創(chuàng)新平臺(tái)的一個(gè)關(guān)鍵是數(shù)據(jù)存儲(chǔ)。在技術(shù)創(chuàng)新平臺(tái)中，來(lái)自不同區(qū)域的海量數(shù)據(jù)需要存儲(chǔ)，同時(shí)平臺(tái)對(duì)數(shù)據(jù)存儲(chǔ)成本以及可用性都有很高的要求。如何保證技術(shù)創(chuàng)新平臺(tái)數(shù)據(jù)存儲(chǔ)的海量跨區(qū)域性、低成本且高可用性是平臺(tái)上產(chǎn)學(xué)研活動(dòng)開(kāi)展的基礎(chǔ)，也是一個(gè)亟待解決的重要問(wèn)題。因此，本文旨在于為技術(shù)創(chuàng)新平臺(tái)提供一套有效的存儲(chǔ)方案，并設(shè)計(jì)相應(yīng)的冗余容錯(cuò)機(jī)制，以此來(lái)滿(mǎn)足平臺(tái)的存儲(chǔ)需求。 考慮到技術(shù)創(chuàng)新平臺(tái)的海量跨區(qū)域的數(shù)據(jù)存儲(chǔ)需求，本文引入了HDFS云存儲(chǔ)框架來(lái)構(gòu)建技術(shù)創(chuàng)新平臺(tái)的存儲(chǔ)系統(tǒng)。然而，當(dāng)前版本的HDFS使用了完全副本冗余容錯(cuò)機(jī)制。這種冗余容錯(cuò)機(jī)制通過(guò)復(fù)制數(shù)據(jù)得到多個(gè)副本，并分別進(jìn)行存儲(chǔ)，以此保證系統(tǒng)的高可用性，但是這種方式增加了系統(tǒng)的冗余，增加了存儲(chǔ)成本。因此，本文將糾刪碼技術(shù)引入到新的冗余容錯(cuò)機(jī)制設(shè)計(jì)中。這種新的冗余容錯(cuò)機(jī)制對(duì)原數(shù)據(jù)編碼形成若干校驗(yàn)碼，一旦數(shù)據(jù)發(fā)生丟失，使用校驗(yàn)碼就可還原數(shù)據(jù)，以此保證系統(tǒng)高可用性。與完全副本冗余容錯(cuò)機(jī)制相比，這種新機(jī)制極大地降低了系統(tǒng)的冗余，減少了存儲(chǔ)成本。 同時(shí)，為了能夠?yàn)榧夹g(shù)創(chuàng)新平臺(tái)提供低成本且高可用性的數(shù)據(jù)存儲(chǔ)方案，本文在冗余容錯(cuò)機(jī)制的設(shè)計(jì)中加入了成本和可用性的冗余優(yōu)化機(jī)制。首先建立一個(gè)雙目標(biāo)優(yōu)化模型，同時(shí)提出了一種基于特征映射神經(jīng)網(wǎng)絡(luò)的冗余優(yōu)化算法，用于搜索關(guān)于成本和可用性的最優(yōu)方案。這種算法和其他多目標(biāo)算法相比，其并行性、分布性以及低計(jì)算復(fù)雜度等特點(diǎn)更能適合在云存儲(chǔ)環(huán)境下的存儲(chǔ)優(yōu)化方案搜索。另外，為了進(jìn)一步提高算法收斂速度以及求解質(zhì)量，利用云存儲(chǔ)中存在大量主機(jī)的特點(diǎn)，對(duì)原冗余優(yōu)化算法進(jìn)行改進(jìn)，加入了訓(xùn)練模塊和競(jìng)爭(zhēng)模塊，提出了并行特征映射神經(jīng)網(wǎng)絡(luò)冗余優(yōu)化算法。 最后對(duì)本文提出的冗余優(yōu)化算法以及冗余容錯(cuò)機(jī)制分別進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果證明，與其他多目標(biāo)優(yōu)化算法相比，本文的冗余優(yōu)化算法在求解質(zhì)量、收斂性上都有著較好的表現(xiàn)。同時(shí)，結(jié)果證明，與完全副本冗余容錯(cuò)機(jī)制相比，本文提出的新冗余容錯(cuò)機(jī)制能夠在保證系統(tǒng)高可用性的同時(shí)，有效降低系統(tǒng)冗余，減少了系統(tǒng)的存儲(chǔ)成本。 基于HDFS框架的技術(shù)創(chuàng)新平臺(tái)存儲(chǔ)系統(tǒng)能夠有效滿(mǎn)足平臺(tái)對(duì)海量跨區(qū)域數(shù)據(jù)存儲(chǔ)的需求。同時(shí)，針對(duì)該系統(tǒng)提出的冗余容錯(cuò)機(jī)制，經(jīng)驗(yàn)證能夠有效保證系統(tǒng)的高可用性以及降低系統(tǒng)冗余存儲(chǔ)成本，能夠滿(mǎn)足平臺(tái)數(shù)據(jù)存儲(chǔ)的實(shí)際需求。另外，本文在基于特征映射神經(jīng)網(wǎng)絡(luò)的冗余優(yōu)化算法方面的工作也為云存儲(chǔ)環(huán)境下多目標(biāo)優(yōu)化算法的應(yīng)用做出了有益的探索。
[Abstract]:The research and research cooperation between enterprises , universities and scientific research institutions can speed up the industrialization , commercialization and internationalization of scientific and technological achievements . The technological innovation platform provides a new platform for research and research cooperation .

This paper introduces a new redundancy fault - tolerant mechanism , which can reduce the redundancy of the system and reduce the storage cost .

At the same time , in order to provide a low - cost and high - availability data storage scheme for the technological innovation platform , the redundancy optimization mechanism of cost and availability is added in the design of the redundancy fault - tolerant mechanism .

At the same time , the new redundancy fault - tolerant mechanism proposed in this paper can effectively reduce the system redundancy while ensuring the high availability of the system , and reduce the storage cost of the system .

According to the redundancy fault - tolerant mechanism proposed by the system , the system can effectively guarantee the high availability of the system and reduce the cost of redundant storage of the system , and can meet the actual demand of the platform data storage . In addition , the work of the redundant optimization algorithm based on the feature mapping neural network also provides a useful exploration for the application of the multi - objective optimization algorithm in the cloud storage environment .
【學(xué)位授予單位】：南京工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類(lèi)號(hào)】：TP333;TP302.8

【參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 周游;劉鵬;楊盛祥;薛志強(qiáng);文艾;;基于私有云的數(shù)據(jù)冗余技術(shù)研究[J];電腦知識(shí)與技術(shù);2011年01期

2 吳吉義;章劍林;傅建慶;平玲娣;;基于Kademlia的云存儲(chǔ)系統(tǒng)數(shù)據(jù)冗余方案研究[J];電信科學(xué);2011年02期

3 朱晨晨;郁曉明;;創(chuàng)新驛站[J];華東科技;2008年10期

4 伍文靜;程耀東;汪璐;武杰;陳剛;;面向本地分布式存儲(chǔ)系統(tǒng)的動(dòng)態(tài)副本策略[J];計(jì)算機(jī)工程與應(yīng)用;2010年12期

5 夏凌;谷寒雨;;基于自組織映射神經(jīng)網(wǎng)絡(luò)的多目標(biāo)調(diào)度研究[J];計(jì)算機(jī)集成制造系統(tǒng);2008年04期

6 陳惟康;杜松;;分布式存儲(chǔ)中數(shù)據(jù)放置策略的研究[J];計(jì)算機(jī)應(yīng)用與軟件;2009年01期

7 王君;;技術(shù)轉(zhuǎn)移服務(wù)的新模式——上海創(chuàng)新驛站研究[J];上海企業(yè);2010年03期

8 王慧娟;胡峰松;陳燦;;數(shù)據(jù)網(wǎng)格環(huán)境下副本淘汰策略的研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2010年19期

本文編號(hào)：2064869