我國是世界上受自然災害影響最為嚴重的國家之一,種類多、頻度高的自然災害正在高強度考驗著我國的應急體系,而應急物流作為應急體系的關鍵環(huán)節(jié),支撐和制約著應急體系的成功。實踐表明,我國的應急物流體系在網絡通信、設施選址、物資調度、干線運輸等方面有著充分的研究,而對應急體系底層服務的關注稍有不足,尤其在底層數據匯聚方面存在諸多問題。本文依托國家科技部重點研發(fā)計劃的專項子課題“綜合指揮調度技術研究和五跨綜合指揮調度信息平臺”,對信息平臺建設中的數據匯聚問題進行研究,設計并實現了面向應急物流的數據匯聚系統(tǒng)。系統(tǒng)提供多匯聚方式從外部信息系統(tǒng)中匯聚數據,接著對數據進行結構層面和語義層面的轉換,最后將海量數據存儲于大數據集群,實現了“數據匯聚-數據清洗-數據轉換-數據存儲”的全流程工作。本文首先從應急物流體系入手,介紹了其在國內外的發(fā)展及現狀;緊接著對系統(tǒng)涉及的相關技術背景進行了描述;然后介紹了系統(tǒng)的需求分析,劃分為功能需求及非功能需求;而后對系統(tǒng)整體進行概要設計,劃分子系統(tǒng)和功能模塊,并重點研究了面向外部系統(tǒng)的數據匯聚問題、數據語義層面轉換問題以及系統(tǒng)操作的可追溯和監(jiān)控問題;之后依據系統(tǒng)結構對各模塊的實現細節(jié)和流程進行了介紹;最后對系統(tǒng)的測試情況進行了介紹,測試項目全部通過,符合需求分析的要求。
【學位單位】：北京郵電大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：F252;TP311.52
【部分圖文】：

第二章背景知識介紹??基于Ｋｅｔｔｌｅ優(yōu)秀的可擴展性，本文選擇Ｋｅｔｔｌｅ作為系統(tǒng)數據匯聚部分的開發(fā)??基礎，將Ｋｅｔｔｌｅ的核心代碼集成到數據匯聚系統(tǒng)中。??對于數據匯聚框架Ｋｅｔｔｌｅ來說，其核心包含兩個概念和四個模塊，兩個概念??分別是：轉換和作業(yè)。轉換的定義是在Ｋｅｔｔｌｅ中進行的數據抽取轉換和加載的流??程，作業(yè)則是定義一個完整工作流的過程，作業(yè)包含轉換。四個模塊分別是［８］：??＊?Ｓｐｏｏｎ：譯為鏟子，是Ｋｅｔｔｌｅ框架中用來對數據轉換和作業(yè)腳本進行設計的??圖形化工具。??＊?Ｐａｎ：譯為平底鍋，是Ｋｅｔｔｌｅ框架中提供的一款命令行工具，用來執(zhí)行在Ｓｐｏｏｎ??中設計好的數據轉換任務。??＊?Ｋｉｔｃｈｅｎ：譯為廚房，Ｋｅｔｔｌｅ框架中的命令行工具，用來執(zhí)行設計好的作業(yè)；??參Ｃａｒｔｅ：譯為菜單，是Ｋｅｔｔｌｅ框架提供的Ｈｔｔｐ服務器，用于對Ｈｔｔｐ請求的監(jiān)??聽，完成遠程執(zhí)行轉換和作業(yè)，除此之外還可以被集成到集群中。??Ｋｅｔｔｌｅ框架組件圖如圖２－３所示［９］：??

能負責實現平臺的各項業(yè)務并對平臺使用者開放；公共服務功能則是為業(yè)務應用??功能提供包含位置、數據訪問、算法模型在內的基礎服務；數據中心負責為平臺??各業(yè)務和功能提供基礎數據存儲服務；如圖３－１所示是“五跨”綜合指揮調度信息??平臺的業(yè)務架構圖［６］：??指實應?指指業(yè)??揮時急?預物倉?運供分?揮揮?務??調跟通?案資儲?力應析?調調?應??度蹤信?管管管?管管統(tǒng)?度度?用??理?理?理?理理計????＊??Ｌ￣?系統(tǒng)管理?＠??應急處置?????????????丨?——??｜?ＧＩＳ服務?｜?｜?安全垠務?｜?｜?工作流服務?｜?｜?配置管理服務????ｉ?公??數據訪問服務?數據接口服務?Ｉ?共??＇—１?．?＇?＇?■?—?；?．?—１?服???—?務??數?玫????１４－４－１１?＾?數據交換服務?數據ｃｍ垠務??關系型數據庫分布式文件系統(tǒng)分布式數據緩存?心??倉儲???１?交?供物氣?預儲管?Ｉ１＆?????１?通應?流象?控系統(tǒng)??國儲?民政?紅會?＾?｜???????????＾??末端投遞調度系統(tǒng)?應急物資信息月ｇ務系統(tǒng)?物資中轉管控系統(tǒng)??圖３－１?“五跨”綜合指揮調度信息平臺業(yè)務架構圖??其中數據匯聚服務位于“五跨”綜合指揮調度信息平臺的公共服務層，負責??對外將外部系統(tǒng)數據進行匯聚并存儲至平臺數據中心，也是本文面向應急物流的??１３??

數據匯聚系統(tǒng)的設計與實現所在。??在“五跨”信息平臺中，數據匯聚系統(tǒng)負責將外部系統(tǒng)中的數據進行匯聚、??轉換處理并存儲到數據中心，是面向外部系統(tǒng)的平臺內系統(tǒng)。圖３－２展示了面向??應急物流的數據匯聚系統(tǒng)與“五跨”信息平臺其他部分以及外部系統(tǒng)之間的關系：??“五跨”綜合指揮調度丨／ｍ?ｉ＇：合?——外部放｜——??Ｉ?國儲?供??????Ｉ民政倉儲１?Ｊ??系統(tǒng)松?｜面向應３物流的數據匯聚（！：）?ｆｓ．ｔｒｍ?５??作《?—?ｔ?系統(tǒng)?；：：?：■：，．．．．．．＾?????ｆ??｜?交通系洗??氣象系統(tǒng)???＼?ｒ???????數據中心?未端《遞系氏??圖３－２面向應急物流的數據匯聚系統(tǒng)在“五跨”信息平臺中的位置??從圖３－２可知，面向應急物流的數據匯聚系統(tǒng)的系統(tǒng)角色為系統(tǒng)操作員，通??過命令行或者ｗｅｂ界面的方式對數據匯聚系統(tǒng)進行操作，包括但不限于對匯聚??任務進行配置、啟動計算任務、查看分析日志等。此外，與數據匯聚系統(tǒng)進行交??互的角色主要有兩個：??１）
【相似文獻】

相關期刊論文 前10條

1 高垣;佀潔;;高校數據匯聚框架設計研究[J];數碼世界;2018年02期

2 程軍;;集中辦公環(huán)境下多節(jié)點協(xié)作數據匯聚系統(tǒng)的設計與實現[J];中國新通信;2018年14期

3 夏文忠;;大數據匯聚關鍵技術與統(tǒng)一架構研究[J];電信技術;2015年01期

4 劉小伶;;市級政務數據匯聚共享平臺的設計與應用[J];福建電腦;2018年05期

5 王枚;徐寶華;;基于ZigBee技術的數據匯聚終端設計及應用[J];物聯網技術;2014年11期

6 江接寶;余衛(wèi)紅;;基于開源的數據匯聚與可視化技術研究[J];電腦知識與技術;2019年10期

7 芮正玉;張本宏;張建軍;俞磊;;一種用于工業(yè)無線傳感器網絡的數據匯聚機制[J];合肥工業(yè)大學學報(自然科學版);2018年04期

8 羅永健;史德陽;陳濤;張衛(wèi)東;;基于多路由傳輸的無線傳感器網絡安全數據匯聚機制[J];兵工自動化;2012年09期

9 劉嘉新;郎紅;李小明;;無線傳感器網絡山洪監(jiān)測數據匯聚平臺[J];自動化技術與應用;2013年06期

10 何卓峰;;大數據匯聚平臺在交通卡口應用的分析與設計[J];通訊世界;2019年06期

相關博士學位論文 前5條

1 吳超;面向物聯網移動數據匯聚的能效優(yōu)化方法研究[D];北京郵電大學;2018年

2 羅紅;無線傳感器網絡數據匯聚路由問題的研究[D];北京郵電大學;2007年

3 李爍;WSAN中時延約束的協(xié)作數據匯聚能效優(yōu)化研究[D];中南大學;2014年

4 曾波;面向數據匯聚傳感網絡的TDMA鏈路調度技術研究[D];浙江大學;2013年

5 郭江鴻;無線傳感網若干安全問題研究[D];西安電子科技大學;2013年

相關碩士學位論文 前10條

1 康紹舜;面向應急物流的數據匯聚系統(tǒng)的設計與實現[D];北京郵電大學;2019年

2 劉寧;基于SINR的無線傳感器網絡數據匯聚問題研究[D];曲阜師范大學;2018年

3 黃詩鶴;SDN-Campus控制器性能數據匯聚分析系統(tǒng)的設計與實現[D];東南大學;2018年

4 芮正玉;工業(yè)無線傳感器網絡數據匯聚機制研究[D];合肥工業(yè)大學;2017年

5 孫曉敏;無線網絡數據采集與數據匯聚算法研究[D];曲阜師范大學;2017年

6 劉建成;制造物聯網數據匯聚調度策略研究[D];廣東工業(yè)大學;2016年

7 魏娟;無線傳感器網絡數據匯聚協(xié)議的研究[D];山東大學;2009年

8 曾漢洋;智能監(jiān)所勤務數據匯聚系統(tǒng)軟件設計[D];浙江大學;2017年

9 張寶藝;CPS中數據匯聚與分發(fā)機制研究[D];東北大學;2014年

10 郎紅;小流域山洪預警系統(tǒng)嵌入式數據匯聚平臺的設計[D];東北林業(yè)大學;2013年

本文編號：2884125