本文關(guān)鍵詞：Hadoop數(shù)據(jù)中心網(wǎng)絡(luò)TCP Incast問題的研究

  更多相關(guān)文章： Hadoop集群 數(shù)據(jù)中心網(wǎng)絡(luò) 網(wǎng)絡(luò)吞吐量 TCP Incast 重傳超時(shí) BPGS

【摘要】：信息化年代,網(wǎng)絡(luò)資源日益龐大,用戶請(qǐng)求信息數(shù)據(jù)量伴隨著互聯(lián)網(wǎng)的發(fā)展而不斷增加。由于集群存儲(chǔ)系統(tǒng)有諸多優(yōu)勢(shì),所以集群存儲(chǔ)系統(tǒng)已被廣泛應(yīng)用于數(shù)據(jù)中心中。集群存儲(chǔ)系統(tǒng)中,數(shù)據(jù)塊以條狀方式分散存儲(chǔ)在多個(gè)不同的服務(wù)器中,當(dāng)并發(fā)訪問的用戶過多、響應(yīng)服務(wù)器數(shù)量不斷增大、多個(gè)發(fā)送方同步將數(shù)據(jù)并發(fā)傳輸給一個(gè)接收方,當(dāng)這些并發(fā)傳輸?shù)臄?shù)據(jù)量足夠超過以太網(wǎng)交換機(jī)緩沖區(qū)大小時(shí),就會(huì)在高帶寬低延遲的環(huán)境中發(fā)生Incast問題。對(duì)Hadoop集群的構(gòu)造、運(yùn)行機(jī)制以及存在于Hadoop集群中的網(wǎng)絡(luò)塌陷行為進(jìn)行了深入研究探討。結(jié)合Hadoop集群運(yùn)行環(huán)境和在集群中發(fā)生的Incast問題,對(duì)Hadoop集群中發(fā)生的Incast問題提出兩種解決方案。第一種是提出優(yōu)化TCP超時(shí)來改善Incast現(xiàn)象,通過修改m i nR T O的值來提高網(wǎng)絡(luò)傳輸質(zhì)量,提高帶寬利用率。第二種解決方案是通過將數(shù)據(jù)交錯(cuò)分組傳輸來避免發(fā)生Incast現(xiàn)象。將原先并發(fā)傳輸?shù)臄?shù)據(jù)交錯(cuò)開來實(shí)現(xiàn)數(shù)據(jù)類串行傳輸,避免發(fā)生TCP Incast現(xiàn)象。使用網(wǎng)絡(luò)仿真工具NS2對(duì)這兩種方案進(jìn)行模擬仿真。仿真實(shí)驗(yàn)結(jié)果表明,通過修改m i nR T O的值可以提高網(wǎng)絡(luò)傳輸質(zhì)量和高帶寬利用率;通過將數(shù)據(jù)交錯(cuò)分組傳輸可以避免發(fā)生Incast現(xiàn)象。論文中提出的兩種解決方案都能改善網(wǎng)絡(luò)傳輸質(zhì)量,有效降低在Hadoop集群環(huán)境中TCP Incast發(fā)生率,避免網(wǎng)絡(luò)吞吐量出現(xiàn)大幅降低現(xiàn)象。
【關(guān)鍵詞】：Hadoop集群 數(shù)據(jù)中心網(wǎng)絡(luò) 網(wǎng)絡(luò)吞吐量 TCP Incast 重傳超時(shí) BPGS
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP308
【目錄】：

• 摘要4-5
• Abstract5-8
• 第一章 緒論8-16
• 1.1 研究背景8-9
• 1.2 數(shù)據(jù)中心網(wǎng)絡(luò)概述9-11
• 1.2.1 數(shù)據(jù)中心網(wǎng)絡(luò)介紹9-10
• 1.2.2 數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)10-11
• 1.3 TCP概述11-12
• 1.4 國(guó)內(nèi)外研究現(xiàn)狀12-14
• 1.5 主要研究?jī)?nèi)容和論文組織結(jié)構(gòu)14-16
• 第二章 HADOOP集群與網(wǎng)絡(luò)16-27
• 2.1 HADOOP集群構(gòu)造16-18
• 2.2 HADOOP集群運(yùn)行機(jī)制18-23
• 2.2.1 Hadoop集群運(yùn)行過程18-22
• 2.2.2 機(jī)架感知22-23
• 2.3 HADOOP集群中網(wǎng)絡(luò)塌陷現(xiàn)象23-26
• 2.3.1 數(shù)據(jù)讀寫過程中的Incast現(xiàn)象23-25
• 2.3.2 MapReduce調(diào)度過程中的Incast現(xiàn)象25-26
• 2.4 本章小結(jié)26-27
• 第三章 TCP INCAST研究及模擬27-39
• 3.1 TCP INCAST研究27-29
• 3.1.1 TCP Incast27
• 3.1.2 引起TCP Incast原因27-29
• 3.2 TCP INCAST模擬29-31
• 3.2.1 模擬環(huán)境29-31
• 3.2.2 重傳超時(shí)31
• 3.3 已有的解決方案仿真實(shí)驗(yàn)與結(jié)果分析31-37
• 3.3.1 傳輸層解決方案32-34
• 3.3.2 應(yīng)用層解決方案34-36
• 3.3.3 其它解決方案36-37
• 3.4 本章小結(jié)37-39
• 第四章 HADOOP集群中基于重傳超時(shí)優(yōu)化算法39-52
• 4.1 相關(guān)工作39-43
• 4.1.1 數(shù)據(jù)中心網(wǎng)絡(luò)的超時(shí)重傳40-41
• 4.1.2 高精確度內(nèi)核時(shí)鐘41-42
• 4.1.3 細(xì)粒度超時(shí)計(jì)時(shí)器42
• 4.1.4 定時(shí)器的維護(hù)42-43
• 4.2 典型TCP重傳超時(shí)算法43-45
• 4.2.1 Jacobson算法43-44
• 4.2.2 Karn算法44
• 4.2.3 RFC2988算法44-45
• 4.3 基于重傳超時(shí)優(yōu)化算法45-48
• 4.4 仿真實(shí)驗(yàn)與結(jié)果分析48-50
• 4.5 本章小結(jié)50-52
• 第五章 基于緊迫度分組調(diào)度算法52-64
• 5.1 經(jīng)典擁塞控制算法TCP NEWRENO和CUBIC研究52-56
• 5.1.1 經(jīng)典擁塞控制算法TCP NewReno研究52-54
• 5.1.2 新型高速TCP變種協(xié)議CUBIC研究54-56
• 5.2 避免INCAST問題的應(yīng)用層方法交錯(cuò)流算法研究56-59
• 5.3 基于緊迫度分組調(diào)度算法59-60
• 5.4 仿真實(shí)驗(yàn)與結(jié)果分析60-63
• 5.5 本章小結(jié)63-64
• 第六章 總結(jié)與展望64-66
• 6.1 總結(jié)64-65
• 6.2 展望65-66
• 參考文獻(xiàn)66-69
• 附錄1攻讀碩士學(xué)位期間撰寫的論文69-70
• 附錄2攻讀碩士學(xué)位期間參加的科研項(xiàng)目70-71
• 致謝71

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 江南;數(shù)據(jù)中心如何應(yīng)付管理挑戰(zhàn)[J];互聯(lián)網(wǎng)周刊;2001年40期

2 ;簡(jiǎn)化管理挑戰(zhàn)——惠普推實(shí)用數(shù)據(jù)中心解決方案[J];每周電腦報(bào);2001年67期

3 李慶莉;去數(shù)據(jù)中心看一看——中國(guó)銀行華北信息中心計(jì)劃處處長(zhǎng)云恩善談數(shù)據(jù)中心運(yùn)行、管理[J];中國(guó)金融電腦;2002年12期

4 馬天蔚;;數(shù)據(jù)中心按需造[J];每周電腦報(bào);2002年25期

5 戚麗,蔣東興,武海平,馮珂;校園數(shù)據(jù)中心建設(shè)與管理方法的探索[J];教育信息化;2002年S1期

6 何俊山;您企業(yè)的數(shù)據(jù)中心2003了嗎?[J];微電腦世界;2003年17期

7 ;挖潛數(shù)據(jù)中心[J];金融電子化;2004年07期

8 王琨月;;數(shù)據(jù)中心業(yè)務(wù)就緒[J];每周電腦報(bào);2004年21期

9 包東智;新熱點(diǎn):創(chuàng)建下一代數(shù)據(jù)中心[J];上海信息化;2005年10期

10 ;把握數(shù)據(jù)中心建設(shè)五大看點(diǎn)[J];中國(guó)計(jì)算機(jī)用戶;2005年10期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 姚，

本文編號(hào)：995395