設(shè)計了一款網(wǎng)絡(luò)分布式文件系統(tǒng)。該系統(tǒng)基于軟件定義網(wǎng)絡(luò),通過充分應(yīng)用其底層網(wǎng)絡(luò)動態(tài)數(shù)據(jù)資源完成實時數(shù)據(jù)傳輸最佳路徑的獲取,使分布式文件系統(tǒng)的性能通過有效導(dǎo)引分布式文件系統(tǒng)中的大數(shù)據(jù)流而得以顯著提高。通過構(gòu)建的分布式文件系統(tǒng)原型對文件讀寫及修復(fù)操作進行測試,同傳統(tǒng)網(wǎng)絡(luò)環(huán)境相比,基于軟件定義網(wǎng)絡(luò)環(huán)境的分布式文件系統(tǒng)的讀寫及修復(fù)能力均得以顯著提升,更適用于網(wǎng)絡(luò)數(shù)據(jù)流量大且異構(gòu)明顯的情況。 

【文章來源】：微型電腦應(yīng)用. 2020年04期

【文章頁數(shù)】：3 頁

【部分圖文】：

中間件交互方式

本文所設(shè)計的分布式文件系統(tǒng)的整體架構(gòu),如圖2所示。SDN網(wǎng)絡(luò)結(jié)構(gòu)位于中間層,其主要功能在于底層網(wǎng)絡(luò)數(shù)據(jù)的傳輸;圍繞中間層部署的是DFS的各種角色節(jié)點,客戶端(Client)和數(shù)據(jù)節(jié)點(DN,以Rack為單位部署)通過OpenFlow交換機實現(xiàn)互連,各DataNode(位于DFS中)在數(shù)據(jù)中心中均同ToR交換機連接,若各交換機均支持OpenFlow協(xié)議則DFS中的網(wǎng)絡(luò)流量能夠運行于SDN網(wǎng)絡(luò)中,即可實現(xiàn)監(jiān)控和管理等優(yōu)化效果,本文在同一臺服務(wù)器上實現(xiàn)NameNode(命名空間)和Controlle(控制點)的整合即ControlNode(控制節(jié)點)[5]。

測試文件讀寫時,基于IP的路由只以鏈路連接信息為依據(jù)計算最短路徑路由,基于可用帶寬的路由的最短路徑根據(jù)鏈路上帶寬的權(quán)值計算。帶寬隨機分布于指定范圍,多次測量文件取平均值,針對帶寬差異性的測試結(jié)果,如圖3所示。每隔十秒微小改動網(wǎng)絡(luò)的帶寬,多次測量大小相同的文件取平均值,采集拓撲信息頻率對文件讀寫的影響情況如圖4所示。

【參考文獻】：
期刊論文
[1]基于Elastic Stack的分布式數(shù)據(jù)采集與分析平臺探索[J]. 林朝熾.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2019(02)
[2]基于Spark的分布式大數(shù)據(jù)分析建模系統(tǒng)的設(shè)計與實現(xiàn)[J]. 徐時芳,羅曉賓,陳陽華.  現(xiàn)代電子技術(shù). 2018(20)
[3]基于Django與HDFS的分布式三維模型文件數(shù)據(jù)庫構(gòu)建[J]. 廖先富,劉俊男.  電子技術(shù)與軟件工程. 2018(18)
[4]基于Scrapy技術(shù)的分布式爬蟲的設(shè)計與優(yōu)化[J]. 劉澤華,趙文琦,張楠.  信息技術(shù)與信息化. 2018(Z1)
[5]HDFS數(shù)據(jù)副本均衡放置策略的改進[J]. 袁麗娜.  計算機科學(xué). 2017(S2)
[6]大數(shù)據(jù)環(huán)境下的分布式數(shù)據(jù)流處理關(guān)鍵技術(shù)探析[J]. 陳付梅,韓德志,畢坤,戴永濤.  計算機應(yīng)用. 2017(03)
[7]基于HDFS的云存儲系統(tǒng)小文件優(yōu)化方案[J]. 鄒振宇,鄭烇,王嵩,楊堅.  計算機工程. 2016(03)



本文編號：2933861