本文關鍵詞：基于Hadoop的動車組故障診斷關鍵技術的研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著我國高速鐵路近年來的不斷發(fā)展,動車組已經(jīng)開始大規(guī)模投入使用,現(xiàn)階段已經(jīng)積累了海量的動車組運行狀況數(shù)據(jù)并以TB數(shù)量級增長。如何利用海量的動車組故障數(shù)據(jù)進行分析,并進一步指導動車組維修和保養(yǎng)工作,這對于動車組故障診斷具有重大意義。然而高速鐵路動車組運行狀況數(shù)據(jù)具有多樣化、容量大、復雜度高、速度快等特點,傳統(tǒng)的數(shù)據(jù)挖掘算法效率低下,實時性差,已經(jīng)無法滿足目前對于動車組關鍵部件故障診斷應用的需求。因此本文提出引入Hadoop分布式計算框架,該框架的Map/Reduce編程模型能夠根據(jù)動車組數(shù)據(jù)的特點有針對性地解決現(xiàn)階段動車組故障診斷中的存在的不足,因此有一定的理論和現(xiàn)實意義。本文提出了基于Hadoop分布式框架的動車組故障診斷大數(shù)據(jù)解決方案,并通過對基于Hadoop的C4.5分類算法的優(yōu)化為提高動車組故障診斷的效率提供了有效方法,并在實際應用中得到了驗證。本論文的工作有以下幾方面：(1)在分析了MapReduce分布式計算框架、分布式文件系統(tǒng)HDFS、數(shù)據(jù)倉庫Hive等Hadoop核心技術的基礎上,給出了基于Hadoop的動車組故障分析大數(shù)據(jù)解決方案,搭建了Hadoop集群環(huán)境。(2)在算法選擇上分析了原始C4.5算法在基于Hadoop平臺動車組故障診斷中存在的不足,提出了兩種改進算法并分別在準確性及可擴展性方面對原始C4.5算法進行了性能改進,集群的負載均衡能力得到提高。(3)將改進后的算法應用于本實驗室的動車組故障真實數(shù)據(jù)場景下,并產(chǎn)生了相關的實驗對比結果。實驗表明,改進算法比原始C4.5算法在穩(wěn)定性及可擴展性上有了明顯提高,可滿足大數(shù)據(jù)背景下動車組故障診斷的相關需求。論文所設計的動車組故障診斷方案滿足了特定的要求,具有較好的并發(fā)挖掘性能,提高了動車組故障診斷分析的效率。
【關鍵詞】：大數(shù)據(jù) 動車組 故障診斷 Hadoop C4.5算法
【學位授予單位】：北京交通大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13
【目錄】：

• 致謝5-6
• 摘要6-7
• ABSTRACT7-11
• 1 緒論11-17
• 1.1 論文研究背景及意義11-12
• 1.2 研究現(xiàn)狀12-14
• 1.2.1 鐵路應用大數(shù)據(jù)研究現(xiàn)狀12-13
• 1.2.2 數(shù)據(jù)挖掘并行化研究現(xiàn)狀13-14
• 1.3 論文研究內(nèi)容與創(chuàng)新點14-15
• 1.4 論文組織結構15-16
• 1.5 本章小結16-17
• 2 數(shù)據(jù)挖掘基礎理論17-32
• 2.1 數(shù)據(jù)挖掘概述17-21
• 2.1.1 數(shù)據(jù)挖掘簡介17-18
• 2.1.2 國內(nèi)外研究現(xiàn)狀18-21
• 2.1.3 動車組數(shù)據(jù)研究現(xiàn)狀21
• 2.2 Hadoop分布式平臺介紹21-26
• 2.2.1 Hadoop概述21-23
• 2.2.2 Hadoop結構模型及角色23-26
• 2.3 適用于動車組故障分類預測的基礎算法選擇26-30
• 2.3.1 分類算法簡介及原始分類算法的選擇26-30
• 2.4 本章小結30-32
• 3 動車組數(shù)據(jù)分析32-38
• 3.1 動車組信息傳輸技術介紹32-34
• 3.2 動車組數(shù)據(jù)介紹34-37
• 3.3 本章小結37-38
• 4 基于C4.5的故障預測算法的改進研究38-46
• 4.1 C4.5決策樹算法簡介38-40
• 4.1.1 C4.5算法原理38-39
• 4.1.2 C4.5算法缺陷39-40
• 4.2 C4.5決策樹算法的改進40-42
• 4.2.1 Bagging算法簡介40-42
• 4.2.2 融合Bagging的C4.5決策樹算法B-CTree的設計42
• 4.3 C4.5決策樹算法的并行化改造42-44
• 4.3.1 C4.5決策樹算法的并行化分析42-43
• 4.3.2 基于MapReduce的C4.5算法MR-C4.5設計43-44
• 4.4 本章小結44-46
• 5 基于Hadoop的動車組故障預測方案46-51
• 5.1 典型數(shù)據(jù)挖掘方案46
• 5.2 基于Hadoop的動車組故障預測方案的分析和設計46-50
• 5.2.1 需求分析46-47
• 5.2.2 基本設計思想47-48
• 5.2.3 設計方案48-50
• 5.3 本章小結50-51
• 6 實驗及結果分析51-62
• 6.1 實驗環(huán)境搭建51-55
• 6.1.1 硬件環(huán)境51
• 6.1.2 軟件環(huán)境51-52
• 6.1.3 Hadoop平臺的安裝與部署52-55
• 6.2 實驗環(huán)境搭建55-61
• 6.2.1 數(shù)據(jù)準備55-56
• 6.2.2 數(shù)據(jù)預處理56-57
• 6.2.3 模型訓練57
• 6.2.4 模型評估57-61
• 6.3 本章小結61-62
• 7 總結與展望62-64
• 7.1 論文工作總結62
• 7.2 下一步研究工作62-64
• 參考文獻64-67
• 作者簡歷67-69
• 學位論文數(shù)據(jù)集69

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 逄利華;張錦春;;基于Hadoop的分布式數(shù)據(jù)庫系統(tǒng)[J];辦公自動化;2014年05期

2 鄭瑋;;Hadoop釋放大數(shù)據(jù)潛能[J];軟件和信息服務;2012年10期

3 劉爾凱;崔振東;;基于HADOOP技術 實現(xiàn)銀行歷史數(shù)據(jù)線上化研究[J];金融電子化;2014年01期

4 鄒群;;一種基于Hadoop的數(shù)字圖書存儲系統(tǒng)設計方案[J];黑龍江史志;2014年01期

5 諶章義;畢偉;向萬紅;王國安;吳愛國;;基于Hadoop的海量電費數(shù)據(jù)處理模型[J];計算機系統(tǒng)應用;2014年05期

6 ;大數(shù)據(jù)不等于Hadoop[J];辦公自動化;2014年06期

7 ;保障Hadoop數(shù)據(jù)安全的十大措施[J];計算機與網(wǎng)絡;2013年08期

8 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學;2010年12期

9 蘇小會;何婧媛;;Hadoop中任務調(diào)度算法的改進[J];電子設計工程;2012年22期

10 林偉偉;;一種改進的Hadoop數(shù)據(jù)放置策略[J];華南理工大學學報(自然科學版);2012年01期

中國重要報紙全文數(shù)據(jù)庫 前8條

1 本報記者 郭濤;機器大數(shù)據(jù)也離不開Hadoop[N];中國計算機報;2013年

2 本報記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報;2012年

3 本報記者 鄒大斌;Hadoop一體機降低大數(shù)據(jù)門檻[N];計算機世界;2012年

4 孫定;云計算、大數(shù)據(jù)與Hadoop[N];計算機世界;2011年

5 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計算機世界;2012年

6 范范　編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡世界;2013年

7 波波　編譯;Hadoop、Web 2.0為磁帶帶來新商機[N];網(wǎng)絡世界;2013年

8 本報記者 郭濤;讓更多人能夠使用Hadoop[N];中國計算機報;2012年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 劉君;基于Hadoop技術的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺的研究[D];天津理工大學;2015年

2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡分析與建模[D];浙江大學;2015年

3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學;2015年

4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學;2015年

5 郭凱振;基于Hadoop的分布式計算系統(tǒng)的設計與實現(xiàn)[D];大連海事大學;2015年

6 白亮;基于Hadoop的民航高價值旅客發(fā)現(xiàn)方法研究[D];中國民航大學;2015年

7 席屏;基于Hadoop的視頻大數(shù)據(jù)智能預警系統(tǒng)應用研究[D];江蘇科技大學;2015年

8 董立明;基于HADOOP的分布式推薦引擎[D];復旦大學;2013年

9 陸藝達;基于Hadoop分布式計算框架的垃圾短信群發(fā)檢測系統(tǒng)[D];復旦大學;2013年

10 沈德利;基于Hadoop的密文檢索關鍵技術研究[D];西安電子科技大學;2014年

  本文關鍵詞：基于Hadoop的動車組故障診斷關鍵技術的研究與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號：320504