本文關(guān)鍵詞：卡口數(shù)據(jù)集成平臺的設(shè)計與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著公安信息化建設(shè)的迅速發(fā)展,特別是以天網(wǎng)工程為建設(shè)重點的快速發(fā)展,按照公安部統(tǒng)一部署,各級公安部門已開始建設(shè)治安、交警、機場高速路等卡口系統(tǒng)及相應(yīng)的指揮管理中心,為公安機關(guān)偵查辦案提供數(shù)據(jù)支持。越來越多的布控需求導(dǎo)致卡口數(shù)據(jù)急劇增長,特別是高速、治安卡口數(shù)據(jù)的高速并發(fā)已經(jīng)給現(xiàn)有的數(shù)據(jù)存儲體系造成了巨大的壓力。但由于各個區(qū)域的卡口是由不同廠家建設(shè),卡口數(shù)據(jù)沒有統(tǒng)一字段描述,相互間缺少統(tǒng)一規(guī)劃和技術(shù)協(xié)調(diào),不能有效實現(xiàn)網(wǎng)絡(luò)的互聯(lián)互通和資源共享。同時,現(xiàn)有成熟的分布式系統(tǒng)大都是通用型,不能很好地解決按時間或地域進行相對集中存儲的問題,這與公安偵查辦案中的實際需求還有一定的差距。為解決公安卡口數(shù)據(jù)應(yīng)用的困惑,本文設(shè)計了符合公安機關(guān)實際業(yè)務(wù)需求的卡口數(shù)據(jù)集成平臺,用于實現(xiàn)對公安機關(guān)各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)支持。本文通過以下三個步驟來完成:首先,介紹了課題研究背景和意義,通過對國內(nèi)外研究現(xiàn)狀分析的基礎(chǔ)上,結(jié)合公安機關(guān)具體業(yè)務(wù)需求對卡口數(shù)據(jù)集成平臺進行了需求分析,介紹了卡口數(shù)據(jù)集成平臺工作流程和功能架構(gòu)。其次,緊緊圍繞公安機關(guān)具體需求,對卡口數(shù)據(jù)集成平臺進行總體設(shè)計,提出了符合卡口數(shù)據(jù)特點的存儲體系架構(gòu)。接著,按照數(shù)據(jù)流向,并根據(jù)卡口數(shù)據(jù)集成平臺的工作流程和功能架構(gòu),對數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)寫入、數(shù)據(jù)檢索功能和系統(tǒng)可用性方面進行研究。在數(shù)據(jù)采集與預(yù)處理方面,采用搭接方式實時采集卡口數(shù)據(jù),通過對卡口數(shù)據(jù)進行分析,采用動態(tài)清洗插件技術(shù)和XML語言來解決底層卡口數(shù)據(jù)的異構(gòu)性問題。在數(shù)據(jù)被寫入主存儲節(jié)點的整個過程中,對關(guān)鍵技術(shù)數(shù)據(jù)緩存策略、多維數(shù)據(jù)構(gòu)建、組播路由機制、全主控節(jié)點機制進行詳細研究。緩存策略能夠保證數(shù)據(jù)采集與數(shù)據(jù)寫入存儲體系的有效銜接;采用多維度數(shù)據(jù)切分策略和組播路由機制相結(jié)合的策略實現(xiàn)了多維數(shù)據(jù)構(gòu)建、寫入和檢索功能。通過對卡口數(shù)據(jù)按區(qū)域、時間進行分組,使相鄰數(shù)據(jù)相對集中存儲。在進行數(shù)據(jù)檢索時,通過對檢索條件進行多維字段切分,快速找到層間組播的下一個組播源,提高層內(nèi)檢索速度。通過全主控節(jié)點機制避免單點故障問題;在系統(tǒng)可用性方面,主要對存儲節(jié)點檢測、在線備份、離線備份和數(shù)據(jù)恢復(fù)方面進行研究。最后,本文的研究成果在項目中得到了初步驗證,整個系統(tǒng)的運行通過了功能測試及非功能測試。從測試結(jié)果可以看出系統(tǒng)在穩(wěn)定性、負載能力上表現(xiàn)良好。同時,經(jīng)測試發(fā)現(xiàn)卡口數(shù)據(jù)集成平臺的存儲體系具備更高的可用性、更簡易的擴充性,具有較廣闊的前景。總體來說,論文所設(shè)計的卡口數(shù)據(jù)集成平臺的實現(xiàn)能夠為各個警種提供可用性高的數(shù)據(jù)存儲,為治安管理和打擊犯罪提供數(shù)據(jù)支持。
【關(guān)鍵詞】：異構(gòu)數(shù)據(jù) 分布式存儲 數(shù)據(jù)檢索 數(shù)據(jù)冗余 數(shù)據(jù)恢復(fù)
【學位授予單位】：上海交通大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP311.52
【目錄】：

• 摘要3-5
• ABSTRACT5-10
• 1 緒論10-13
• 1.1 研究背景10
• 1.2 研究意義10-11
• 1.3 本文研究內(nèi)容11-12
• 1.4 本文組織結(jié)構(gòu)12-13
• 2 國內(nèi)外研究現(xiàn)狀13-18
• 2.1 大數(shù)據(jù)處理技術(shù)發(fā)展現(xiàn)狀13-14
• 2.2 國內(nèi)警用系統(tǒng)發(fā)展現(xiàn)狀14-15
• 2.3 海量數(shù)據(jù)存儲技術(shù)15-16
• 2.4 分布式存儲系統(tǒng)16-17
• 2.5 本章小結(jié)17-18
• 3 卡口數(shù)據(jù)集成平臺需求分析18-23
• 3.1 卡口數(shù)據(jù)現(xiàn)狀18-19
• 3.2 需求分析19-22
• 3.2.1 功能需求19-21
• 3.2.2 非功能需求21-22
• 3.3 本章小結(jié)22-23
• 4 卡口數(shù)據(jù)集成平臺設(shè)計23-45
• 4.1 卡口數(shù)據(jù)集成平臺架構(gòu)23-24
• 4.2 存儲體系架構(gòu)24-26
• 4.3 數(shù)據(jù)采集與預(yù)處理26-30
• 4.3.1 數(shù)據(jù)采集27
• 4.3.2 卡口數(shù)據(jù)分析27-29
• 4.3.3 數(shù)據(jù)清洗轉(zhuǎn)換29-30
• 4.4 數(shù)據(jù)寫入30-36
• 4.4.1 數(shù)據(jù)緩存策略31-32
• 4.4.2 多維數(shù)據(jù)構(gòu)建32-33
• 4.4.3 多級組播路由機制33-35
• 4.4.4 全主控節(jié)點機制35-36
• 4.5 數(shù)據(jù)檢索36-39
• 4.5.1 數(shù)據(jù)檢索流程36-38
• 4.5.2 異常容錯機制38-39
• 4.6 可用性策略39-44
• 4.6.1 節(jié)點檢測39-42
• 4.6.2 數(shù)據(jù)備份42-43
• 4.6.3 數(shù)據(jù)恢復(fù)43-44
• 4.7 本章小結(jié)44-45
• 5 卡口數(shù)據(jù)集成平臺實現(xiàn)45-56
• 5.1 數(shù)據(jù)的采集與預(yù)處理實現(xiàn)45-48
• 5.1.1 數(shù)據(jù)采集46-47
• 5.1.2 數(shù)據(jù)清洗47-48
• 5.2 數(shù)據(jù)寫實現(xiàn)48-50
• 5.3 數(shù)據(jù)檢索實現(xiàn)50-51
• 5.4 數(shù)據(jù)可用性實現(xiàn)51-54
• 5.4.1 節(jié)點檢測52
• 5.4.2 數(shù)據(jù)備份52-53
• 5.4.3 數(shù)據(jù)恢復(fù)53-54
• 5.5 數(shù)據(jù)服務(wù)接口實現(xiàn)54-55
• 5.6 本章小結(jié)55-56
• 6 測試與結(jié)果分析56-70
• 6.1 測試環(huán)境56-57
• 6.1.1 實施架構(gòu)56-57
• 6.1.2 測試數(shù)據(jù)集57
• 6.2 功能性測試57-62
• 6.2.1 數(shù)據(jù)采集與預(yù)處理58-59
• 6.2.2 數(shù)據(jù)切分59-60
• 6.2.3 數(shù)據(jù)寫入60-61
• 6.2.4 數(shù)據(jù)檢索61-62
• 6.3 非功能性測試62-68
• 6.3.1 自動冗余62-64
• 6.3.2 離線數(shù)據(jù)自動備份和恢復(fù)64-66
• 6.3.3 性能測試66-67
• 6.3.4 擴展性測試67-68
• 6.4 系統(tǒng)驗證分析68-69
• 6.5 本章小結(jié)69-70
• 7 總結(jié)與展望70-73
• 7.1 總結(jié)70-71
• 7.2 展望71-73
• 參考文獻73-75
• 致謝75-76
• 攻讀學位期間發(fā)表的學術(shù)論文目錄76-78

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 丁劍飚;;地測集成平臺的研制開發(fā)及應(yīng)用[J];銅業(yè)工程;2007年02期

2 冷鵬;;搭建金融業(yè)數(shù)據(jù)集成平臺[J];金融電子化;2009年11期

3 相海泉;;醫(yī)院集成平臺熱的背后[J];中國信息界(e醫(yī)療);2014年01期

4 鄭自強;如何正確選擇業(yè)務(wù)集成平臺[J];互聯(lián)網(wǎng)周刊;2002年33期

5 黃雙喜,范玉順;企業(yè)集成平臺參考模型與實現(xiàn)體系研究[J];機械科學與技術(shù);2003年S1期

6 李建強,范玉順;整體解決方案下的集成平臺技術(shù)研究[J];控制與決策;2004年03期

7 李進,何衛(wèi)平,房亞東,王忠明;基于動態(tài)分類的制造資源集成平臺的研究及實現(xiàn)[J];制造業(yè)自動化;2004年11期

8 李建強;范玉順;;企業(yè)集成平臺技術(shù)研究[J];計算機科學;2004年01期

9 鄒澤明,李從心,阮雪榆;適用于企業(yè)信息化的數(shù)控系統(tǒng)集成平臺研究[J];計算機工程;2005年12期

10 劉雪暉,尹超,何彥,劉飛;網(wǎng)絡(luò)化制造集成平臺集中式身份認證策略研究[J];計算機集成制造系統(tǒng);2005年06期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 谷豐;胡志坤;陳曉龍;李勛;;城市智能交通管理系統(tǒng)集成平臺開發(fā)[A];第七屆中國智能交通年會優(yōu)秀論文集——智能交通應(yīng)用[C];2012年

2 嚴瑾;;鐵路客站現(xiàn)代管理集成平臺在成都東站的研究與應(yīng)用[A];四川省通信學會2012年學術(shù)年會論文集[C];2012年

3 杜峗曦;龔京忠;李國喜;吳寶中;;衛(wèi)星數(shù)字化設(shè)計制造集成平臺[A];企業(yè)應(yīng)用集成系統(tǒng)與技術(shù)學術(shù)研究會論文集[C];2006年

4 李悅;殷燕芬;;SoC集成平臺設(shè)計的研究[A];2005中國通信集成電路技術(shù)與應(yīng)用研討會論文集[C];2005年

5 金蓓弘;劉昕;李京;邵丹華;;實時數(shù)據(jù)集成平臺的設(shè)計和實現(xiàn)[A];第十七屆全國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2000年

6 高鶴;李歧強;;流程行業(yè)MES基于智聯(lián)子集成平臺的研究[A];第16屆中國過程控制學術(shù)年會暨第4屆全國故障診斷與安全性學術(shù)會議論文集[C];2005年

7 董燕;;中央監(jiān)測資源集成平臺的軟件架構(gòu)設(shè)計思路[A];中國新聞技術(shù)工作者聯(lián)合會2008年學術(shù)年會論文集（下）[C];2008年

8 劉永寧;魏嘉;仇正蘭;;NEWS BASE3.0數(shù)據(jù)集成平臺[A];油氣地球物理實用新技術(shù)——中國石化石油勘探開發(fā)研究院南京石油物探研究所2004年學術(shù)交流會論文集[C];2004年

9 王霓虹;韓璐;;嵌入式GIS研究與發(fā)展綜述[A];黑龍江省計算機學會2009年學術(shù)交流年會論文集[C];2010年

10 吳清漪;張浩;喬非;謝小軒;;基于J2EE標準的BPR集成平臺的研究和實現(xiàn)[A];工業(yè)自動化應(yīng)用實踐——全國（第五屆）煉鋼、連鑄和軋鋼自動化學術(shù)會議論文集[C];2002年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 駐京記者 賈巖;打破信息孤島 集成平臺勝算幾何[N];醫(yī)藥經(jīng)濟報;2011年

2 章立;企業(yè)集成平臺選擇尤為重要[N];中國電力報;2004年

3 記者 薛峰 通訊員 高靜;上海石油加快搭建三大系統(tǒng)集成平臺[N];中國石化報;2007年

4 董麗娟;南鋁信息化系統(tǒng)集成平臺投入運行[N];閩北日報;2009年

5 董麗娟;南鋁鋁業(yè)信息化系統(tǒng)集成平臺 通過科技成果鑒定[N];中國有色金屬報;2009年

6 ;GE：懂醫(yī)療是我們的核心技術(shù)[N];中國計算機報;2011年

7 記者 廖雪梅;三峽庫區(qū)綜合信息空間 集成平臺正式開通[N];重慶日報;2010年

8 遼寧中醫(yī)藥大學附屬醫(yī)院 羅智博　何繼勇 李明哲;構(gòu)建四大平臺 實現(xiàn)中醫(yī)院數(shù)字化[N];中國中醫(yī)藥報;2011年

9 徐旭忠;三峽庫區(qū)綜合信息空間集成平臺開始建設(shè)[N];中國稅務(wù)報;2008年

10 記者 張銀炎;上海地區(qū)開拓IPMS新領(lǐng)域[N];中國船舶報;2005年

中國博士學位論文全文數(shù)據(jù)庫 前2條

1 任午令;電子商務(wù)環(huán)境下供應(yīng)鏈管理集成平臺及其關(guān)鍵技術(shù)研究[D];浙江大學;2003年

2 馬增輝;水信息系統(tǒng)綜合集成研究與應(yīng)用[D];西安理工大學;2009年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 陳志強;基于SOA框架的高校人事管理系統(tǒng)設(shè)計[D];復(fù)旦大學;2013年

2 狄t

本文編號：299426