隨著信息化建設(shè)的開展,政府加大投資力度進(jìn)行信息系統(tǒng)建設(shè),以幫助政府進(jìn)行電子政務(wù)處理和管理工作。這些系統(tǒng)的運(yùn)行,積累了大量的業(yè)務(wù)數(shù)據(jù)；但各個(gè)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)分布在各自的系統(tǒng)中(操作系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)和數(shù)據(jù)標(biāo)準(zhǔn)都不相同)。這些數(shù)據(jù)之間缺乏對(duì)應(yīng)和轉(zhuǎn)換關(guān)系,協(xié)同能力較差,形成“信息孤島”。信息雖然可以在本系統(tǒng)中進(jìn)行流轉(zhuǎn),但與其他系統(tǒng)的交互性較差。各自孤立運(yùn)作的系統(tǒng)將會(huì)產(chǎn)生大量的冗余數(shù)據(jù)和造成業(yè)務(wù)人員的重復(fù)勞動(dòng),而采用傳統(tǒng)點(diǎn)對(duì)點(diǎn)的數(shù)據(jù)交換方式將使得系統(tǒng)的集成費(fèi)用和維護(hù)成本成倍增加。構(gòu)建公共數(shù)據(jù)中心成為當(dāng)務(wù)之急。ETL(Extractio、Transform and Load,數(shù)據(jù)抽取、轉(zhuǎn)換和裝載)是構(gòu)建公共數(shù)據(jù)中心的關(guān)鍵環(huán)節(jié)。ETL系統(tǒng)將一個(gè)機(jī)構(gòu)的所有的信息資源集成到一個(gè)無(wú)縫的、并列的、易于訪問(wèn)的數(shù)據(jù)資產(chǎn)中；這樣可使一個(gè)功能強(qiáng)大的數(shù)據(jù)資產(chǎn)運(yùn)作起來(lái)就像一個(gè)單一系統(tǒng)。ETL通過(guò)建立底層數(shù)據(jù)交換平臺(tái)來(lái)聯(lián)系整個(gè)部門機(jī)構(gòu)的異構(gòu)系統(tǒng)、應(yīng)用、數(shù)據(jù)源等。該平臺(tái)用于滿足機(jī)構(gòu)內(nèi)部的業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù),以及其它重要的內(nèi)部系統(tǒng)之間無(wú)縫地共享和交換數(shù)據(jù)的需要。本文以本人參與的上海市浦東新區(qū)政府公共數(shù)據(jù)中心信息系統(tǒng)... 

【文章來(lái)源】：東華大學(xué)上海市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：68 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

浦東新區(qū)數(shù)據(jù)中心數(shù)據(jù)流向圖

統(tǒng)首先通過(guò)B/S系統(tǒng)定義用戶數(shù)據(jù)格式與標(biāo)準(zhǔn)格式的對(duì)于及轉(zhuǎn)換關(guān)系，據(jù)庫(kù)與目的數(shù)據(jù)庫(kù)對(duì)應(yīng)關(guān)系，設(shè)置需要抽取數(shù)據(jù)情況及抽取規(guī)則，數(shù)據(jù)據(jù)配置信息，定時(shí)或?qū)崟r(shí)做數(shù)據(jù)抽取，對(duì)于抽取到中心數(shù)據(jù)庫(kù)的數(shù)據(jù)，S系統(tǒng)查詢、下載。系統(tǒng)結(jié)構(gòu)圖如下:

圖3.5數(shù)據(jù)管理子系統(tǒng)系統(tǒng)結(jié)構(gòu)圖(1)源數(shù)據(jù)層源數(shù)據(jù)層根據(jù)數(shù)據(jù)中心對(duì)數(shù)據(jù)的定制需求，實(shí)現(xiàn)對(duì)各委辦局結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的動(dòng)態(tài)采集、規(guī)整和入庫(kù)處理，形成數(shù)據(jù)中心緩沖數(shù)據(jù)庫(kù)。源數(shù)據(jù)層的主要工作是對(duì)各委辦局現(xiàn)有數(shù)據(jù)采集相關(guān)系統(tǒng)或功能模塊進(jìn)行調(diào)研分析，通過(guò)配置管理配置數(shù)據(jù)前置服務(wù)器的工作模式，通過(guò)元數(shù)據(jù)管理實(shí)現(xiàn)數(shù)據(jù)源的正確定義，通過(guò)DMETL實(shí)現(xiàn)數(shù)據(jù)抽取和傳輸?shù)取?2)數(shù)據(jù)處理層數(shù)據(jù)處理層通過(guò)DMETL對(duì)數(shù)據(jù)層形成的緩沖數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行提取、檢驗(yàn)、轉(zhuǎn)換等處理，通過(guò)構(gòu)建各類業(yè)務(wù)數(shù)據(jù)庫(kù)和管理數(shù)據(jù)庫(kù)實(shí)現(xiàn)數(shù)據(jù)一體化存儲(chǔ)與管理，形成完整的數(shù)據(jù)中心共享數(shù)據(jù)庫(kù)，為數(shù)據(jù)中心日常的查詢和下載等業(yè)務(wù)需求提供準(zhǔn)確的數(shù)據(jù)來(lái)源。


本文編號(hào)：2936464