發(fā)布時(shí)間：2017-12-12 00:03

  本文關(guān)鍵詞：鐵路LTE通信大數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 大數(shù)據(jù) Cloudera CDH LTE Hadoop Impala

【摘要】：本文研究利用大數(shù)據(jù)技術(shù)對鐵路LTE(長期演進(jìn))通信網(wǎng)絡(luò)進(jìn)行優(yōu)化。朔黃鐵路是中國"西煤東運(yùn)"的第二大通道,對中國經(jīng)濟(jì)的發(fā)展有著重大的貢獻(xiàn)。為了滿足日益增長的鐵路運(yùn)輸需求,公司決定通過增加容量以及安排更多的車次來提升鐵路的運(yùn)輸能力。隨著車次和列車容量的增長,如何保證鐵路運(yùn)輸?shù)恼＿\(yùn)行成為了大勢所趨。實(shí)踐證明,采用LTE作為鐵路通信系統(tǒng),是一種有效的解決方案。但是由于在中國國內(nèi)乃至全世界,LTE在鐵路中的應(yīng)用尚屬首例,不可避免地會(huì)遇到很多問題。所以定期對鐵路LTE網(wǎng)絡(luò)進(jìn)行路測檢查,并根據(jù)檢查結(jié)果進(jìn)行網(wǎng)絡(luò)優(yōu)化,成為保障LTE通信網(wǎng)絡(luò)正常運(yùn)轉(zhuǎn)的重要手段網(wǎng)優(yōu)路測工作所產(chǎn)生的數(shù)據(jù)量十分巨大,現(xiàn)有的計(jì)算機(jī)系統(tǒng)難以滿足如此大量數(shù)據(jù)的存儲(chǔ)、分析和處理。所以大部分?jǐn)?shù)據(jù)的處理仍然需要由人工來完成,不僅處理效率低下,結(jié)果的準(zhǔn)確性也往往難以保證。隨著大數(shù)據(jù)技術(shù)以及計(jì)算機(jī)硬件水平的不斷提高,近幾年來,大數(shù)據(jù)技術(shù)在各個(gè)行業(yè)的應(yīng)用已經(jīng)證明了,當(dāng)前的大數(shù)據(jù)技術(shù)有能力對海量數(shù)據(jù)進(jìn)行處理,為企業(yè)的生產(chǎn)和管理提供助力。本論文的主要工作是研究并實(shí)現(xiàn)了一個(gè)以大數(shù)據(jù)技術(shù)為理論基礎(chǔ),利用Cloudera大數(shù)據(jù)平臺(tái)提供大數(shù)據(jù)相關(guān)的工具和服務(wù);分析實(shí)際工作場景中亟待解決的主要問題,開發(fā)出一個(gè)高效、便捷具有較強(qiáng)可擴(kuò)展能力的Web可視化系統(tǒng)。在功能設(shè)計(jì)方面,本系統(tǒng)主要能夠?qū)λ伏S鐵路LTE網(wǎng)絡(luò),網(wǎng)優(yōu)路測過程中產(chǎn)生的數(shù)據(jù)進(jìn)行高效地存儲(chǔ)、處理和分析;能夠?qū)TE網(wǎng)絡(luò)中經(jīng)常出現(xiàn)的幾類通信故障(乒乓切換、弱覆蓋、越區(qū)覆蓋)進(jìn)行篩查;對能夠反映LTE網(wǎng)絡(luò)信號狀況的相關(guān)KPI(關(guān)鍵績效指標(biāo))指數(shù)進(jìn)行提取和展示;將通信故障情況以及相關(guān)KPI指數(shù)在地理信息系統(tǒng)上展示出來,使得用戶能夠?qū)⒄故境龅腖TE網(wǎng)絡(luò)狀況與周邊的地理信息聯(lián)系起來,為故障的排查提供便利。具體來說,本文所進(jìn)行的主要工作如下:在大多數(shù)分析系統(tǒng)中數(shù)據(jù)ETL是最為耗時(shí)的一個(gè)過程,幾乎能夠占到80%的時(shí)間。朔黃公司網(wǎng)優(yōu)路測的原始數(shù)據(jù)大多以XLS文件的形式存儲(chǔ),但本文采用的數(shù)據(jù)實(shí)時(shí)交互技術(shù)采用的是在數(shù)據(jù)查詢效率上具有明顯優(yōu)勢的Cloudera Impala,為了使用Impala需要將XLS文件轉(zhuǎn)化為CSV文件;在原始數(shù)據(jù)中還存在著大量的NULL值以及空字符串等無效數(shù)據(jù),在將原始數(shù)據(jù)上傳到HDFS之前,應(yīng)當(dāng)對這些數(shù)據(jù)進(jìn)行清洗。數(shù)據(jù)ETL是數(shù)據(jù)分析及處理的前提,本文實(shí)現(xiàn)了這個(gè)過程。根據(jù)現(xiàn)場調(diào)研,本文選取了三種常見的通信故障——弱覆蓋、越區(qū)覆蓋、乒乓切換,三種衡量通信狀況的關(guān)鍵指標(biāo)——RSRP、RSRQ、SINR進(jìn)行分析和展示。分析了這三種通信故障的成因,并對其進(jìn)行數(shù)據(jù)建模,使得系統(tǒng)能夠從原始數(shù)據(jù)中排查出這些故障;通過應(yīng)用天地圖API、Echart等第三方組件,一方面將通信故障以及相關(guān)關(guān)鍵指標(biāo)與地理信息系統(tǒng)結(jié)合起來,另一方面能夠?qū)⒐收习l(fā)生時(shí)的指標(biāo)變化情況以直方圖或者散點(diǎn)圖的形式進(jìn)行抽象化展示。通過以上工作,使本系統(tǒng)能夠快速檢測出數(shù)據(jù)中的通信故障,并且能夠直觀形象地顯示鐵路沿線的通信情況。分析了系統(tǒng)的架構(gòu)和開發(fā)環(huán)境,具體描述了,后臺(tái)大數(shù)據(jù)服務(wù)以及Web用戶界面的設(shè)計(jì)目標(biāo),在此基礎(chǔ)上對系統(tǒng)進(jìn)行了實(shí)現(xiàn)。建立實(shí)驗(yàn)環(huán)境,對系統(tǒng)進(jìn)行了部署,并通過實(shí)際數(shù)據(jù)進(jìn)行驗(yàn)證,驗(yàn)證結(jié)果表明,本系統(tǒng)能夠有效地篩選出故障數(shù)據(jù)以及相關(guān)關(guān)鍵技術(shù)指標(biāo),并能夠?qū)ΡＷC結(jié)果的正確性。本文分析了朔黃鐵路網(wǎng)優(yōu)路測過程中存在的主要問題,研究了 Cloudera大數(shù)據(jù)平臺(tái)、天地圖等大數(shù)據(jù)和地理信息組件,在此基礎(chǔ)上實(shí)現(xiàn)了一個(gè)基于天地圖以及Cloudera大數(shù)據(jù)平臺(tái)的通訊運(yùn)維大數(shù)據(jù)分析系統(tǒng)。實(shí)際應(yīng)用表明,該系統(tǒng)能夠直觀、形象地展示出鐵路沿線通信網(wǎng)絡(luò)的整體情況,并能對常見的通信故障進(jìn)行排查,大大提升了朔黃鐵路公司通信運(yùn)維的效率,具有較高的實(shí)用價(jià)值。
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TN929.5

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 代美;陳林;趙惠燕;程登發(fā);;掃描昆蟲雷達(dá)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)和研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2009年03期

2 李磊;;黑龍江郵政數(shù)據(jù)分析系統(tǒng)研究[J];林業(yè)科技情報(bào);2011年04期

3 陳起榕;陳新亮;曹世彪;;一種新的數(shù)據(jù)分析系統(tǒng)前端展示方案[J];郵電設(shè)計(jì)技術(shù);2012年10期

4 孟慶超;李永亮;;智能數(shù)據(jù)分析系統(tǒng)研究[J];現(xiàn)代商貿(mào)工業(yè);2008年11期

5 郭靜;;鋼鐵企業(yè)能源數(shù)據(jù)分析系統(tǒng)的構(gòu)建[J];昆明理工大學(xué)學(xué)報(bào)(理工版);2009年05期

6 哈文雷;;基于云計(jì)算的油田數(shù)據(jù)分析系統(tǒng)[J];中國新技術(shù)新產(chǎn)品;2013年17期

7 黃麗麗;陳華輝;;博客數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];寧波大學(xué)學(xué)報(bào)(理工版);2008年03期

8 田月潔;焦波;謝金洲;;中藥不良反應(yīng)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與應(yīng)用[J];中國藥物警戒;2007年04期

9 毛蘭斌;;基于機(jī)電結(jié)構(gòu)檢測的可靠性數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)[J];中國高新技術(shù)企業(yè);2008年08期

10 毛羽芳;王銳明;;天津市工商行政管理局?jǐn)?shù)據(jù)分析系統(tǒng)的建設(shè)[J];信息系統(tǒng)工程;2010年07期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前7條

1 顧紅生;;淺談汽車行業(yè)競品數(shù)據(jù)分析系統(tǒng)解決方案[A];第八屆中國汽車設(shè)計(jì)與研發(fā)高峰論壇論文集[C];2013年

2 辛建峰;辛陽;;數(shù)據(jù)分析系統(tǒng)中的自定義量度方案設(shè)計(jì)實(shí)現(xiàn)[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

3 尚屹;朱琦;;國家持久性有機(jī)污染物數(shù)據(jù)分析系統(tǒng)研究[A];2008中國環(huán)境科學(xué)學(xué)會(huì)學(xué)術(shù)年會(huì)優(yōu)秀論文集（下卷）[C];2008年

4 鄭慧娟;周嘉元;李斌;;水電站生產(chǎn)數(shù)據(jù)分析系統(tǒng)及其現(xiàn)場應(yīng)用[A];中國水力發(fā)電工程學(xué)會(huì)信息化專委會(huì)2010年學(xué)術(shù)交流會(huì)論文集[C];2010年

5 張永忠;趙靜;;基于事件檢測算法的交通數(shù)據(jù)分析系統(tǒng)[A];2008全國第十三屆自動(dòng)化應(yīng)用技術(shù)學(xué)術(shù)交流會(huì)論文集[C];2008年

6 王治國;王薇;訾凱;任鵬;;臨床檢驗(yàn)方法確認(rèn)與性能驗(yàn)證數(shù)據(jù)分析系統(tǒng)(MVS)的開發(fā)與應(yīng)用[A];中華醫(yī)學(xué)會(huì)第九次全國檢驗(yàn)醫(yī)學(xué)學(xué)術(shù)會(huì)議暨中國醫(yī)院協(xié)會(huì)臨床檢驗(yàn)管理專業(yè)委員會(huì)第六屆全國臨床檢驗(yàn)實(shí)驗(yàn)室管理學(xué)術(shù)會(huì)議論文匯編[C];2011年

7 董剛;孫建林;譚耘宇;;建立梅鋼熱軋數(shù)據(jù)分析系統(tǒng)[A];自動(dòng)化技術(shù)與冶金流程節(jié)能減排——全國冶金自動(dòng)化信息網(wǎng)2008年會(huì)論文集[C];2008年

中國重要報(bào)紙全文數(shù)據(jù)庫 前8條

1 記者 劉慧敏;開發(fā)區(qū)一企業(yè)研發(fā)成功“消費(fèi)行為數(shù)據(jù)分析系統(tǒng)”[N];寧波日報(bào);2009年

2 別志銘;基于云的大數(shù)據(jù)分析系統(tǒng)[N];網(wǎng)絡(luò)世界;2013年

3 袁毅;蘇州：數(shù)據(jù)分析系統(tǒng)精準(zhǔn)問診城市交通[N];人民公安報(bào)·交通安全周刊;2011年

4 紹興職業(yè)技術(shù)學(xué)院 沈華峰 寧波大學(xué)信息科學(xué)與工程學(xué)院 朱雙東;基于可縮放矢量圖形數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[N];中國計(jì)算機(jī)報(bào);2010年

5 記者 董科;轉(zhuǎn)型客戶服務(wù) 打造全新競爭力[N];期貨日報(bào);2010年

6 江蘇省淮安市漣水地稅局 周躍 黃呂勝 童政;應(yīng)完善稅收數(shù)據(jù)分析系統(tǒng)提升使用效能[N];中國稅務(wù)報(bào);2013年

7 陶利軍;路橋當(dāng)好企業(yè)經(jīng)濟(jì)分析師[N];中國工商報(bào);2007年

8 本報(bào)記者 鞏國強(qiáng);汛潮的“賣點(diǎn)”[N];山西經(jīng)濟(jì)日報(bào);2004年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 夷臻;學(xué)生事務(wù)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];蘇州大學(xué);2015年

2 李永秋;智能化體檢數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2014年

3 翟羽佳;萊蕪供電公司經(jīng)營數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

4 張磊磊;高考錄取數(shù)據(jù)分析系統(tǒng)前端界面模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

5 韓繼軍;金卡科技公司業(yè)務(wù)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

6 張志祥;某數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

7 龍少杭;基于Storm的實(shí)時(shí)大數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

8 余夢然;面向商務(wù)智能的公共交通數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

9 張鵬宇;中國聯(lián)通ERP用戶感知業(yè)務(wù)監(jiān)控?cái)?shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

10 廖寧平;石化企業(yè)數(shù)據(jù)分析系統(tǒng)的開發(fā)及運(yùn)營管理中的應(yīng)用[D];浙江工業(yè)大學(xué);2014年

，

本文編號：1280392