1 緒論

隨著信息化應用不斷發(fā)展，實現(xiàn)信息共享已成為時代發(fā)展的要求，是世界發(fā)展的趨勢，從發(fā)現(xiàn)這一趨勢之初，我國政府就開始大力開展全國的信息化建設，政府等相關(guān)單位作為國家職能部門率先進入信息化建設進程。由于我國領土面積遼闊且各地政治、經(jīng)濟、文化等方面的發(fā)展水平不一，并非每一個政府相關(guān)部門都從一開始就擁有開展信息化建設的基礎，以至于各地政府職能部門的信息化建設呈現(xiàn)出一種“從上到下、從中心向四周、從部分到全局”的發(fā)展狀態(tài)。并且由于各個不同職能部門之間的物理隔閡，雖然信息化建設在不斷發(fā)展，卻是在“獨自發(fā)展”，形成了一個個“信息孤島”，妨礙了各部門間的信息共享。大數(shù)據(jù)時代，如何對海量數(shù)據(jù)進行挖掘、運用、創(chuàng)造價值，引起了人們的廣泛關(guān)注，進行這些利用的前提是先將它們“收集”起來。四川省在 2005 年依據(jù)《四川公安綜合共享數(shù)據(jù)庫設計規(guī)范》建立了省級綜合共享數(shù)據(jù)庫，采用較簡單的技術(shù)方式已經(jīng)收集整合了 27 類公安業(yè)務數(shù)據(jù)一億多條，在建設公安綜合信息應用和跨部門數(shù)據(jù)共享上發(fā)揮了重要作用，極大方便了廣大民警的日常警務工作。
...........

2 相關(guān)技術(shù)

2.1 數(shù)據(jù)集成方法
聯(lián)邦數(shù)據(jù)庫管理系統(tǒng)系統(tǒng)（Federation Database ManagementSystem，F(xiàn)DBMS）用于操作、協(xié)調(diào)、控制 FDBS 中的成員數(shù)據(jù)庫。FDBMS 作為整個系統(tǒng)的管理中樞，負責把各個成員數(shù)據(jù)庫的存儲模式映射到公共的聯(lián)邦模式，同時還負責各種存儲模式之間的轉(zhuǎn)換，自動解決異構(gòu)數(shù)據(jù)庫的操縱和網(wǎng)絡傳輸；除此之外，，F(xiàn)DBMS 還能夠接收來自聯(lián)邦用戶的數(shù)據(jù)請求，通過“翻譯”接收到的的數(shù)據(jù)請求，然后將“翻譯”結(jié)果發(fā)送至各個目標數(shù)據(jù)庫，最后在將各個目標數(shù)據(jù)庫返回的結(jié)果進行集成并返回給用戶。實現(xiàn)聯(lián)邦數(shù)據(jù)庫系統(tǒng) FDBS的五層參考體系機構(gòu)如圖 2.1所示。該系統(tǒng)的不足是它只能在一定的限制條件下實現(xiàn)，例如對加入聯(lián)邦系統(tǒng)的成員數(shù)據(jù)庫以及各個成員數(shù)據(jù)庫之間的互操作加以一定的限制，在進行各種數(shù)據(jù)源的數(shù)據(jù)集成時不夠靈活；而且硬件要求高，系統(tǒng)建立耗時長，不是一種通用的數(shù)據(jù)集成方法。

2.2 面向服務架構(gòu)（SOA）
SOA 的全稱是 ServiceOriented Architecture，即面向服務的體系結(jié)構(gòu)。先后很多廠商和個人都各自對其有著不同的理解，比較普遍的一種是認為 SOA 是一種以服務為導向的組件模型，通過一定標準的接口和協(xié)議來實現(xiàn)不同業(yè)務功能模塊（服務）間得松耦合管理，可實現(xiàn)分布式計算的軟件體系結(jié)構(gòu)，其核心價值就在于如何使服務的靈活復用達到最大限度。SOA 體系結(jié)構(gòu)由服務提供者、服務請求者、服務注冊中心等三個部分組成。服務提供者將自己經(jīng)過嚴格測試后的能夠提供的服務發(fā)布到服務注冊表（由服務注冊中心管理），服務請求者通過查詢服務注冊表中存儲的服務信息，查找到所需服務后獲取服務提供者的相應信息，再向服務提供者提出請求，從而滿足自己的業(yè)務需求。SOA的體系結(jié)構(gòu)圖如圖 2.4所示。服務注冊中心：相當于一個存儲、管理服務信息的節(jié)點，為服務請求者和服務提供者之間搭建一座橋梁，使得這兩者之間可以各取所需。服務注冊中心有一個通用的標準，只有當服務提供者提供的服務符合這個標準的時候，服務請求者才能夠使用其服務。

3 數(shù)據(jù)集成平臺..........12

3.1 總體目標..........12

3.2 功能需求分析.............13

4 主要功能設計...........21

4.1 數(shù)據(jù)規(guī)則定義...........21

5 關(guān)鍵技術(shù)實現(xiàn).........36

5.1 基于數(shù)據(jù)快照的全表對比增量抽取.............36

6 集成平臺性能測試

6.1 測試環(huán)境

6.2 測試對象
（1）將人口數(shù)據(jù)庫中的人口變動信息（包括增、刪、改）同步到測試數(shù)據(jù)庫中數(shù)據(jù)表。（2）將車輛數(shù)據(jù)庫的入庫車輛變動信息同步到測試數(shù)據(jù)庫中數(shù)據(jù)表.（3）將酒店居住信息數(shù)據(jù)庫上的 9張表同步到測試數(shù)據(jù)庫中的數(shù)據(jù)表。（1）測試內(nèi)容測試樣本選擇 21 個地市州，對應人口數(shù)據(jù)庫中的 21 個人口信息視圖，選取各 25 個字段作為測試對象；測試視圖中在選定的字段上發(fā)生變化后，是否正確同步到測試數(shù)據(jù)庫對應的測試表中。（2）測試過程首先將這 21 個視圖中選中的字段對應的數(shù)據(jù)完整復制到同步數(shù)據(jù)表；然后設置同步任務，設置同步時間為定時定點，每個任務并行執(zhí)行，同步增量數(shù)據(jù)。（3）測試結(jié)果
.........

7 總結(jié)與展望

本文理論聯(lián)系實際，對面向服務架構(gòu) SOA、數(shù)據(jù)集成方法等進行了詳細深入的調(diào)查和分析，提出采用基于 SOA 的方式進行數(shù)據(jù)集成，以達到面向服務、易于擴展、動態(tài)集成的集成效果。本文主要做了以下幾點研究：（1）分析傳統(tǒng)數(shù)據(jù)集成方法的優(yōu)點及缺點，SOA 在數(shù)據(jù)集成中得優(yōu)勢，結(jié)合公安部門業(yè)務系統(tǒng)的實際情況，使用 SOA、XML、數(shù)據(jù)快照、數(shù)據(jù)映射等技術(shù)，設計實現(xiàn)面向服務架構(gòu)的數(shù)據(jù)集成平臺。（2）根據(jù)公安部門業(yè)務系統(tǒng)的實際情況，結(jié)合觸發(fā)器方式、時間戳方式、全表對比方式、日志對比方式等抽取增量數(shù)據(jù)的方法，采用基于數(shù)據(jù)快照的全表對比增量數(shù)據(jù)抽取和基于事務日志的時間戳增量數(shù)據(jù)抽取的方法獲取到所需數(shù)據(jù)，進一步提高數(shù)據(jù)集成效率。（3）將公安數(shù)據(jù)集成過程中的每一個數(shù)據(jù)整合服務再細化為一個個數(shù)據(jù)轉(zhuǎn)換步驟服務，形成一個個轉(zhuǎn)換服務，實現(xiàn)基于組件的流程化數(shù)據(jù)整合機制，實現(xiàn)數(shù)據(jù)整合部分代碼的重用性和可擴展性。下一步，本數(shù)據(jù)集成平臺的研究焦點將轉(zhuǎn)移到數(shù)據(jù)文件傳輸模塊的研究與實現(xiàn)，解決各分布式數(shù)據(jù)源間的數(shù)據(jù)文件傳輸問題。
.........

參考文獻（略）

本文編號：17978