發(fā)布時間：2017-07-18 11:29

  本文關鍵詞：基于Hadoop的公交物聯(lián)網海量采集數據的存儲平臺設計

  更多相關文章： 公交物聯(lián)網 Hadoop 海量日志存儲 分布式視頻轉碼

【摘要】：隨著公共交通和物聯(lián)網技術的不斷發(fā)展,各類車載信息采集設備所產生的數據量也逐年增長,傳統(tǒng)數據存儲方式已經難以支持日益增長的采集數據存儲需求。所以如何利用工具將這些數據進行高效的存儲和管理是急需解決的問題。在公交系統(tǒng)各類采集數據信息中,兩種典型且重要的海量存儲數據一個是GPS日志數據,另一個是視頻數據。GPS日志數據用于分析公交調度和公交線路優(yōu)化,需要實現(xiàn)對日志數據的分布式壓縮存儲并且支持以時間和空間范圍為條件的高效查詢操作;公交監(jiān)控視頻數據具有來源復雜,格式混亂的特點,為了實現(xiàn)監(jiān)控視頻數據的統(tǒng)一管理存儲,需要對視頻文件進行分布式轉碼,然后壓縮存儲�；谝陨洗鎯π枨�,本文提出使用Hadoop實現(xiàn)公交物聯(lián)網海量采集數據存儲,通過Hadoop的HDFS分布式數據存儲系統(tǒng)和MapReduce分布式計算技術,解決公交物聯(lián)網采集數據的高效存儲和管理問題。本文研究Hadoop的技術架構特點,并分析總結了公交物聯(lián)網系統(tǒng)GPS日志和視頻數據的采集、處理和存儲特點,設計基于Hadoop的公交物聯(lián)網海量采集數據的分布式存儲方案。根據GPS日志數據的分布式壓縮存儲和以時間、空間為條件的高效查詢需求,設計實現(xiàn)了基于Hadoop的GPS日志數據存儲管理系統(tǒng)。該系統(tǒng)根據時間和GPS位置信息對日志數據實行時間-空間分層劃分,并根據節(jié)點性能動態(tài)選擇數據存儲節(jié)點,然后壓縮存儲于HDFS。最后通過實驗數據證明該系統(tǒng)在優(yōu)化存儲效率的同時支持更高效的數據查詢,能有效的提高日志文件的寫入和存儲效率。針對車載監(jiān)控視頻存儲空間占用大和視頻格式復雜多樣的問題,設計并實現(xiàn)了基于Hadoop的分布式視頻存儲轉碼系統(tǒng)。該系統(tǒng)采用MapReduce和FFMPEG相結合的視頻處理技術實現(xiàn)視頻文件的分布式轉碼;利用LZO壓縮技術實現(xiàn)對視頻文件的高壓縮存儲。最終實驗結果證實該視頻存儲系統(tǒng)可以極大地提高轉碼效率,適合處理和存儲公交物聯(lián)網視頻采集數據。
【關鍵詞】：公交物聯(lián)網 Hadoop 海量日志存儲 分布式視頻轉碼
【學位授予單位】：北京工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：U495;TP391.44;TN929.5
【目錄】：

• 摘要4-5
• Abstract5-10
• 第1章 緒論10-16
• 1.1 研究背景10-11
• 1.2 國內外研究現(xiàn)狀11-14
• 1.2.1 大數據應用于智能公交技術的國內外研究現(xiàn)狀11-12
• 1.2.2 Hadoop的國內外研究現(xiàn)狀12-14
• 1.3 論文內容和組織結構14
• 1.4 課題來源14-16
• 第2章 Hadoop海量數據處理技術16-22
• 2.1 Hadoop關鍵技術16-20
• 2.1.1 HDFS分布式數據存儲技術16-18
• 2.1.2 MapReduce分布式處理技術18-20
• 2.2 基于Hadoop的公交物聯(lián)網海量采集數據存儲平臺難點20
• 2.2.1 海量GPS日志數據讀寫性能問題20
• 2.2.2 海量視頻文件的轉碼效率問題20
• 2.3 本章小結20-22
• 第3章 公交物聯(lián)網平臺架構22-30
• 3.1 數據采集層23-25
• 3.2 業(yè)務處理層25-26
• 3.3 Hadoop平臺層26-29
• 3.3.1 Hadoop日志存儲管理系統(tǒng)26-27
• 3.3.2 Hadoop視頻存儲轉碼系統(tǒng)27-29
• 3.4 本章小結29-30
• 第4章 基于Hadoop的公交物聯(lián)網GPS日志存儲管理系統(tǒng)30-54
• 4.1 總體設計30-32
• 4.2 存儲映射模塊32-38
• 4.2.1 數據存儲模型32-33
• 4.2.2 存儲層次劃分33-36
• 4.2.3 文件存儲結構36-38
• 4.3 元數據管理模塊38-39
• 4.4 Hive數據加載模塊39-41
• 4.5 查詢處理模塊41-43
• 4.5.1 自定義Input Format41
• 4.5.2 Hive數據查詢41-42
• 4.5.3 查詢結果分析42-43
• 4.6 節(jié)點存儲管理模塊43-46
• 4.6.1 節(jié)點性能評估方法43-44
• 4.6.2 存儲節(jié)點選擇方法44-46
• 4.6.3 小文件塊處理46
• 4.7 實驗與系統(tǒng)評估46-53
• 4.7.1 實驗環(huán)境與測試數據46-48
• 4.7.2 實驗結果與系統(tǒng)評估48-53
• 4.8 本章小結53-54
• 第5章 基于Hadoop的公交物聯(lián)網分布式視頻存儲轉碼系統(tǒng)54-76
• 5.1 總體設計54-55
• 5.2 視頻文件傳輸與存儲55-57
• 5.3 分布式視頻轉碼處理過程57-62
• 5.3.1 Map階段59-61
• 5.3.2 Reduce階段61-62
• 5.4 FFmpeg視頻處理62-67
• 5.4.1 FFmpeg視頻切割63-64
• 5.4.2 FFmpeg視頻轉碼64-67
• 5.4.3 FFmpeg視頻合并67
• 5.5 HDFS視頻文件操作67-70
• 5.5.1 節(jié)點間視頻文件傳輸67-68
• 5.5.2 視頻文件壓縮68-69
• 5.5.3 視頻文件訪問69-70
• 5.6 實驗與系統(tǒng)評估70-75
• 5.6.1 實驗環(huán)境與測試數據70-72
• 5.6.2 實驗結果與系統(tǒng)評估72-75
• 5.7 本章小結75-76
• 結論76-78
• 參考文獻78-82
• 攻讀碩士學位期間所取得的學術成果82-84
• 致謝84

【相似文獻】

中國期刊全文數據庫 前10條

1 ;上海開中國物聯(lián)網技術研發(fā)先河[J];上海城市管理;2010年02期

2 網集;;物聯(lián)網正悄然改變著我們的生活[J];華北電業(yè);2010年03期

3 本刊編輯;;感知中國與物聯(lián)網[J];智能建筑與城市信息;2010年05期

4 周洪波;;“千面”物聯(lián)網初探[J];智能建筑與城市信息;2010年05期

5 ;“物聯(lián)網”[J];電工材料;2010年02期

6 趙紅梅;;制定完善標準體系 大力發(fā)展物聯(lián)網[J];大眾標準化;2010年S1期

7 本刊編輯部;;中國物聯(lián)網標準聯(lián)合工作組成立[J];現(xiàn)代建筑電氣;2010年06期

8 蘇江;;物聯(lián)網破成本“瓶頸”[J];交通建設與管理;2010年07期

9 李尚春;;物聯(lián)網在中國流程制造業(yè)中的應用[J];中國制造業(yè)信息化;2010年14期

10 ;物聯(lián)網整體規(guī)模將達到7500億元[J];中國防偽報道;2010年11期

中國重要會議論文全文數據庫 前10條

1 柯欣;;物聯(lián)網的智慧從何而來[A];兩化融合與物聯(lián)網發(fā)展學術研討會論文集[C];2010年

2 李晨熙;;物聯(lián)網的發(fā)展狀況與趨勢[A];兩化融合與物聯(lián)網發(fā)展學術研討會論文集[C];2010年

3 朱順強;;中國物聯(lián)網發(fā)展狀況分析[A];中國通信學會2010年光纜電纜學術年會論文集[C];2010年

4 李文增;李拉;;對我國物聯(lián)網產業(yè)進一步加快發(fā)展的對策研究[A];2010年度京津冀區(qū)域協(xié)作論壇論文集[C];2010年

5 曾躍;羅斌;周東曉;;關注物聯(lián)網發(fā)展:冷靜分析,務實前行[A];兩化融合與物聯(lián)網發(fā)展學術研討會論文集[C];2010年

6 張金鑫;魏峻旭;;我國物聯(lián)網發(fā)展現(xiàn)狀研究[A];兩化融合與物聯(lián)網發(fā)展學術研討會論文集[C];2010年

7 肖良顏;余翔宇;;廣東省物聯(lián)網建設和發(fā)展的思考[A];廣東通信2010青年論壇優(yōu)秀論文集[C];2010年

8 曹玉旺;張炎明;;淺析物聯(lián)網下智慧城市的發(fā)展策略[A];融合與創(chuàng)新——中國通信學會通信管理委員會第29次學術研討會論文集[C];2011年

9 陳衛(wèi)國;;超級物聯(lián)網:中國物聯(lián)網發(fā)展第三條道路[A];新觀點新學說學術沙龍文集47：物聯(lián)網產業(yè)與區(qū)域經濟發(fā)展[C];2010年

10 王繼祥;;避免浮躁氣息,求同存異推進物聯(lián)網應用[A];新觀點新學說學術沙龍文集47：物聯(lián)網產業(yè)與區(qū)域經濟發(fā)展[C];2010年

中國重要報紙全文數據庫 前10條

1 本報記者 張煜;物聯(lián)網：下一個經濟增長點？[N];中國電子報;2009年

2 本報記者 魏剛;物聯(lián)網：地球的神經元[N];北京科技報;2009年

3 本報通訊員 張前　本報記者 陳曉春;神奇物聯(lián)網,大步走近我們的生活[N];新華日報;2009年

4 蔡玉高　劉巍巍;我國科研機構加緊研發(fā)物聯(lián)網技術[N];人民郵電;2009年

5 記者 付秋實;物聯(lián)網,危機催生的新技術[N];金融時報;2009年

6 朱小兵;物聯(lián)網不可一陣風[N];計算機世界;2009年

7 本報記者 谷慧;物聯(lián)網掘金潮:前夜突圍[N];中國經營報;2009年

8 本報記者 張麗婭　陳薇亦 實習生 方卿;“物聯(lián)網”生活令人憧憬[N];江蘇經濟報;2009年

9 工業(yè)和信息化部 通信科技委委員 侯自強;物聯(lián)網僅僅才開始[N];計算機世界;2009年

10 本報記者 余建斌　整理 劉先云;物聯(lián)網,智能改變生活[N];人民日報;2009年

中國博士學位論文全文數據庫 前10條

1 董新平;物聯(lián)網產業(yè)成長研究[D];華中師范大學;2012年

2 蘇美文;物聯(lián)網產業(yè)發(fā)展的理論分析與對策研究[D];吉林大學;2015年

3 鄧雪峰;設施農業(yè)物聯(lián)網系統(tǒng)建模與模型驗證[D];中國農業(yè)大學;2016年

4 王峰;物聯(lián)網數據處理若干關鍵問題研究[D];吉林大學;2016年

5 原旭;面向精細化種植的物聯(lián)網數據處理方法研究[D];大連理工大學;2016年

6 喻濤;物聯(lián)網感知終端及數據管理關鍵技術研究[D];武漢大學;2015年

7 杜克明;小麥生長監(jiān)測物聯(lián)網關鍵技術研究[D];中國農業(yè)科學院;2015年

8 方昶;物聯(lián)網環(huán)境下混合生產系統(tǒng)中三種新的生產計劃模型及求解算法研究[D];合肥工業(yè)大學;2016年

9 楊建棟;面向城市生命線管理的物聯(lián)網關鍵技術研究與應用[D];北京工業(yè)大學;2016年

10 駱冰清;物聯(lián)網輕量級IP尋址技術研究[D];南京郵電大學;2016年

中國碩士學位論文全文數據庫 前10條

1 關勇;物聯(lián)網行業(yè)發(fā)展分析[D];北京郵電大學;2010年

2 劉鵬程;物聯(lián)網標準體系構建研究[D];北京交通大學;2011年

3 黃迪;物聯(lián)網的應用和發(fā)展研究[D];北京郵電大學;2011年

4 曹自立;物聯(lián)網產業(yè)發(fā)展的驅動因素研究[D];南京郵電大學;2012年

5 周桄召;我國物聯(lián)網產業(yè)布局及對策研究[D];南京郵電大學;2012年

6 覃敏杰;物聯(lián)網產業(yè)發(fā)展影響研究[D];北京郵電大學;2012年

7 程鈺杰;我國物聯(lián)網產業(yè)發(fā)展研究[D];安徽大學;2012年

8 唐力;物聯(lián)網倫理問題探究[D];太原科技大學;2012年

9 寧金芳;從虛擬到實在：對物聯(lián)網的哲學探究[D];中南大學;2012年

10 周潔;物聯(lián)網環(huán)境下我國政府公共服務的研究[D];西南交通大學;2012年

，

本文編號：557556