【摘要】：在互聯(lián)網(wǎng)技術高速發(fā)展的背景下,隨著信息化在各行業(yè)內(nèi)部深入建設,數(shù)據(jù)所扮演的角色變得越來越重要。數(shù)據(jù)所蘊含的價值也需要被深度挖掘和共享。需要將分散的異構數(shù)據(jù)進行統(tǒng)一集成,形成一套統(tǒng)一管理的數(shù)據(jù)共享平臺。通過將各個分散應用下的數(shù)據(jù)進行集成,能夠實現(xiàn)數(shù)據(jù)之間的價值共享。ETL(Extract-Transform-Load)是一種支撐數(shù)據(jù)集成相關業(yè)務很好的解決方案,成為近年來的研究熱點�；诳萍脊芾頂�(shù)據(jù)集成業(yè)務背景下,論文研究了基于ETL的科技管理數(shù)據(jù)集成技術�？萍脊芾頂�(shù)據(jù)分布在各個階段,不同階段的數(shù)據(jù)由不同的部門進行維護,存儲格式及語義上存在著很大的差別,為了規(guī)范數(shù)據(jù)存儲,簡化數(shù)據(jù)推送,需要對科技管理數(shù)據(jù)進行統(tǒng)一全流程存儲。但在科技管理數(shù)據(jù)集成過程中遇到了以下問題:1、科技管理數(shù)據(jù)復雜多樣,數(shù)據(jù)集成過程中的數(shù)據(jù)質(zhì)量難以保障,常常會造成數(shù)據(jù)缺失、存儲格式不一致等現(xiàn)象發(fā)生,因此需提供有效的技術方案來保障科技管理數(shù)據(jù)集成后的數(shù)據(jù)質(zhì)量。2、在保障數(shù)據(jù)質(zhì)量的基礎上,現(xiàn)有的ETL任務腳本調(diào)度方案效率較低、核心業(yè)務數(shù)據(jù)更新慢,難以適應大數(shù)據(jù)環(huán)境下的數(shù)據(jù)集成需求。因此需選擇合理的任務調(diào)度方案來對ETL任務腳本進行有效的調(diào)度,以提高資源利用率、數(shù)據(jù)集成效率。為了解決上述問題,首先,本文設計了一套科技管理數(shù)據(jù)倉庫架構,通過層次結構,能夠清晰的描繪數(shù)據(jù)的流向及數(shù)據(jù)應用場景,并且可以規(guī)范統(tǒng)一存儲科技管理數(shù)據(jù)。其次,在傳統(tǒng)數(shù)據(jù)集成模型的基礎上設計了基于元模型控制的數(shù)據(jù)集成模型,并提出了相應的元數(shù)據(jù)描述和映射規(guī)則來輔助數(shù)據(jù)集成。通過抽取、轉換、加載元模型與映射規(guī)則的結合,完善了數(shù)據(jù)集成模型,并開發(fā)了相應的元數(shù)據(jù)管理工具和映射解析器。并將數(shù)據(jù)質(zhì)量保障的方法嵌入到數(shù)據(jù)集成腳本中。經(jīng)過實驗驗證分析,此模型和相應的映射算法能夠有效的保障數(shù)據(jù)集成后的數(shù)據(jù)質(zhì)量。然后,設計了分布式ETL任務調(diào)度框架和一體化調(diào)度算法。該框架分為ETL任務預處理、ETL任務調(diào)度分配、ETL任務執(zhí)行三個階段。一體化調(diào)度算法是三個階段算法的概括描述。經(jīng)過實驗驗證分析,該框架和算法能夠完善ETL任務調(diào)度分配與執(zhí)行過程,提高了分布式環(huán)境資源利用率,提升了數(shù)據(jù)集成效率。最后,本文還實現(xiàn)了一套面向科技管理數(shù)據(jù)的ETL任務構建與調(diào)度系統(tǒng),將本文所涉及的模型框架和算法應用到該系統(tǒng)下。目前系統(tǒng)已經(jīng)過多輪測試,并己在國家某部委的科技管理系統(tǒng)中進行應用與驗證,己承擔了多批量的數(shù)據(jù)集成業(yè)務。能夠高效穩(wěn)定的完成數(shù)據(jù)集成工作。
【學位授予單位】：北方工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP311.13
【圖文】：

逡逑圖２－３中間件模式模型架構圖逡逑２．３．３數(shù)據(jù)倉庫模式模型逡逑數(shù)據(jù)倉庫［３５］是近年來在數(shù)據(jù)領域最常見的一個名詞與技術，倉庫通常描述為逡逑存放東西的載體，在數(shù)據(jù)領域，就是具體統(tǒng)一存儲數(shù)據(jù)的倉庫。但數(shù)據(jù)倉庫也有逡逑別于數(shù)據(jù)庫，數(shù)據(jù)倉庫具有面向主題的、集成的、非易失性的、與時間關聯(lián)的特逡逑征，能夠為企業(yè)、部門提供決策支持的數(shù)據(jù)集合。模型架構如圖２－４所示。數(shù)據(jù)逡逑倉庫模型是具有多層次的架構模型，通常包含數(shù)據(jù)采集、數(shù)據(jù)加工處理、數(shù)據(jù)存逡逑儲、數(shù)據(jù)分析等，數(shù)據(jù)倉庫模式是對分散的異構數(shù)據(jù)源進行集成統(tǒng)一存儲，從而逡逑提供一份高質(zhì)量、高標準的數(shù)據(jù)集合，以供企業(yè)、部門分析決策。逡逑■—■邋１邐、逡逑數(shù)據(jù)源入逡逑：１邋據(jù)Ｉｆ逡逑數(shù)據(jù)源邋NB逡逑＾邐逡逑圖２－４數(shù)據(jù)倉庫模式模型架構圖逡逑２．４元數(shù)據(jù)逡逑元數(shù)據(jù)（Ｍｅｔａｄａｔａ）是描述數(shù)據(jù)的數(shù)據(jù)（ｄａｔａ邋ａｂｏｕｔ邋ｄａｔａ）％

存放東西的載體，在數(shù)據(jù)領域，就是具體統(tǒng)一存儲數(shù)據(jù)的倉庫。但數(shù)據(jù)倉庫也有逡逑別于數(shù)據(jù)庫，數(shù)據(jù)倉庫具有面向主題的、集成的、非易失性的、與時間關聯(lián)的特逡逑征，能夠為企業(yè)、部門提供決策支持的數(shù)據(jù)集合。模型架構如圖２－４所示。數(shù)據(jù)逡逑倉庫模型是具有多層次的架構模型，通常包含數(shù)據(jù)采集、數(shù)據(jù)加工處理、數(shù)據(jù)存逡逑儲、數(shù)據(jù)分析等，數(shù)據(jù)倉庫模式是對分散的異構數(shù)據(jù)源進行集成統(tǒng)一存儲，從而逡逑提供一份高質(zhì)量、高標準的數(shù)據(jù)集合，以供企業(yè)、部門分析決策。逡逑■—■邋１邐、逡逑數(shù)據(jù)源入逡逑：１邋據(jù)Ｉｆ逡逑數(shù)據(jù)源邋NB逡逑＾邐逡逑圖２－４數(shù)據(jù)倉庫模式模型架構圖逡逑２．４元數(shù)據(jù)逡逑元數(shù)據(jù)（Ｍｅｔａｄａｔａ）是描述數(shù)據(jù)的數(shù)據(jù)（ｄａｔａ邋ａｂｏｕｔ邋ｄａｔａ）％，或者說是用于提逡逑供某種數(shù)據(jù)信息資源的結構化數(shù)據(jù)（ｓｔｒｕｃｔｕｒｅｄ邋ｄａｔａ）。逡逑８逡逑

集成的需求，作業(yè)則是由轉換組成。Ｋｅｔｔｌｅ也具有相應的組件以滿足大數(shù)據(jù)環(huán)境逡逑下的數(shù)據(jù)集成遷移需求。Ｋｅｔｔｌｅ的開發(fā)部署架構主要包括開發(fā)環(huán)境、作業(yè)存儲、逡逑生產(chǎn)環(huán)境三大類。架構如圖２－５所示。Ｋｅｔｔｌｅ的開發(fā)環(huán)境是由Ｓｐｏｏｎ進行轉換和逡逑作業(yè)腳本的開發(fā)。并將作業(yè)腳本存儲到資源庫或者文件庫中。由Ｋｉｔｃｈｅｎ、Ｐａｎ逡逑進行作業(yè)腳本的任務調(diào)度，該調(diào)度可應用于操作系統(tǒng)級的調(diào)度，并可由Ｃａｒｔｅ創(chuàng)逡逑建虛擬服務器來構建分布式運行環(huán)境，用于轉換或作業(yè)的遠程執(zhí)行。逡逑１３逡逑

【相似文獻】

相關期刊論文 前10條

1 謝子秋;唐錦輝;李剛;夏海朋;周宇;孫熹;柳燕杰;蔣海泥;;醫(yī)療質(zhì)量管理系統(tǒng)全數(shù)據(jù)集成[J];中國數(shù)字醫(yī)學;2017年05期

2 華昒;;數(shù)據(jù)集成:二、數(shù)據(jù)集成101[J];中國儀器儀表;2016年10期

3 吳鈺峰;;云計算數(shù)據(jù)集成與服務系統(tǒng)的構建[J];數(shù)碼世界;2016年12期

4 韓蕊;;大數(shù)據(jù)呼喚數(shù)據(jù)集成新思維[J];互聯(lián)網(wǎng)周刊;2013年22期

5 褚鴻君;;數(shù)據(jù)聯(lián)邦促進企業(yè)數(shù)據(jù)集成[J];軟件世界;2008年01期

6 周冰;;調(diào)查顯示:數(shù)據(jù)集成獲中國企業(yè)認同[J];信息化縱橫;2008年08期

7 董峰;李晉宏;;企業(yè)數(shù)據(jù)集成綜述[J];中國金屬通報;2008年42期

8 陳默;;Sybase推出新款軟件[J];計算機與網(wǎng)絡;1998年06期

9 王拓，王偉;CIMS的數(shù)據(jù)集成[J];計算機研究與發(fā)展;1994年01期

10 ;數(shù)據(jù)集成將成大數(shù)據(jù)新浪潮[J];中小學信息技術教育;2013年11期

相關會議論文 前10條

1 路輝;;基于數(shù)據(jù)集成與共享構建系統(tǒng)[A];物聯(lián)網(wǎng)與電力新技術——2014年云南電力技術論壇論文集[C];2014年

2 許國艷;王志堅;;基于主動服務的領域數(shù)據(jù)集成研究[A];2008年全國開放式分布與并行計算機學術會議論文集(上冊)[C];2008年

3 李宗華;肖道綱;彭明軍;;數(shù)字武漢空間基礎數(shù)據(jù)集成建庫及應用[A];堅持科學發(fā)展觀 推進自主創(chuàng)新 促進國家創(chuàng)新型城市建設——武漢市第二屆學術年會論文集[C];2006年

4 喬慧捷;趙海軍;紀力強;;生物多樣性數(shù)據(jù)集成模式初探[A];第五屆全國生物多樣性保護與持續(xù)利用研討會論文摘要集[C];2002年

5 李宗華;彭明軍;;規(guī)劃國土資源管理空間數(shù)據(jù)集成應用與運行機制探討[A];2004城市規(guī)劃年會論文集（下）[C];2004年

6 曾惠蘭;曾松峰;廖斌;;柔性數(shù)據(jù)集成助推堅強智能電網(wǎng)[A];2009電力行業(yè)信息化年會論文集[C];2009年

7 葉群峰;;基于SOA的企業(yè)數(shù)據(jù)集成交換的研究與實踐[A];中國煙草學會2014年學術年會入選論文摘要匯編[C];2014年

8 蔡彪;廖聞劍;彭艷兵;;Deep Web數(shù)據(jù)集成和關鍵技術綜述[A];2009年研究生學術交流會通信與信息技術論文集[C];2009年

9 劉躍軍;艾鴻;劉國華;;數(shù)據(jù)集成中的XML查詢重寫[A];2005年全國理論計算機科學學術年會論文集[C];2005年

10 陸新建;王建新;田雙昌;;新一代流程工業(yè)生產(chǎn)實時數(shù)據(jù)集成方案[A];2009中國過程系統(tǒng)工程年會暨中國mes年會論文集[C];2009年

相關重要報紙文章 前10條

1 Ronald van Loon;大數(shù)據(jù)的未來掌控于數(shù)據(jù)集成[N];中國信息化周報;2017年

2 佚名;現(xiàn)代數(shù)據(jù)集成很重要[N];中國信息化周報;2017年

3 本報記者 王若曦;數(shù)據(jù)集成分析 能源互補協(xié)調(diào)[N];中國電力報;2017年

4 浙江義烏市局(分公司) 陳兵來;數(shù)據(jù)集成讓決策更科學[N];東方煙草報;2014年

5 呂梁市煤炭設計研究院 張萍;淺析數(shù)據(jù)集成環(huán)境下煤炭企業(yè)管理信息系統(tǒng)的構建[N];呂梁日報;2012年

6 陳友梅;數(shù)據(jù)集成 永中Office之本[N];中國計算機報;2002年

7 本報記者 于翔;數(shù)據(jù)集成開啟云征程[N];網(wǎng)絡世界;2010年

8 于翔;集成即服務：面向云的數(shù)據(jù)集成[N];網(wǎng)絡世界;2009年

9 通訊員 張一龍　本報記者 祁文運;標準線牽引標準化建設[N];國家電網(wǎng)報;2008年

10 ;SaaS需要數(shù)據(jù)集成[N];網(wǎng)絡世界;2007年

相關博士學位論文 前10條

1 劉強;基于云計算的BIM數(shù)據(jù)集成與管理技術研究[D];清華大學;2017年

2 吳月超;面向智能水電站的監(jiān)測數(shù)據(jù)集成及運行分析研究與實踐[D];華中科技大學;2018年

3 陳義;面向數(shù)據(jù)集成的數(shù)據(jù)復制和查詢優(yōu)化[D];中國科學院研究生院（軟件研究所）;2004年

4 曹順良;生物學數(shù)據(jù)集成若干關鍵問題研究[D];復旦大學;2005年

5 孟永勝;裝備制造業(yè)產(chǎn)品制造數(shù)據(jù)集成管理研究與應用[D];大連理工大學;2006年

6 王學軍;基于GIS的石油勘探開發(fā)數(shù)據(jù)集成管理技術研究[D];中國地質(zhì)大學(北京);2017年

7 鄂新華;面向服務的數(shù)據(jù)集成若干關鍵技術研究[D];北京郵電大學;2015年

8 姜朔;數(shù)據(jù)空間中數(shù)據(jù)集成若干關鍵問題研究[D];東華大學;2014年

9 董永權;Deep Web數(shù)據(jù)集成關鍵問題研究[D];山東大學;2010年

10 李雁妮;深網(wǎng)數(shù)據(jù)集成與挖掘關鍵問題的建模及算法研究[D];西安電子科技大學;2013年

相關碩士學位論文 前10條

1 徐晨陽;基于ETL的科技管理數(shù)據(jù)集成技術研究[D];北方工業(yè)大學;2019年

2 徐強;GIS領域多源異構數(shù)據(jù)集成的普適性處理框架研究[D];陜西師范大學;2018年

3 任岱榕;非法集資數(shù)據(jù)集成與共享平臺的設計與實現(xiàn)[D];北京交通大學;2018年

4 吳岳臻;基于金稅三期數(shù)據(jù)集成的稅務動態(tài)監(jiān)控系統(tǒng)的設計與實現(xiàn)[D];山東大學;2018年

5 張建國;基于Spark的流數(shù)據(jù)集成分類方法研究及應用[D];齊魯工業(yè)大學;2018年

6 李渴;基于BIM的道路數(shù)據(jù)集成與開發(fā)[D];東南大學;2018年

7 劉寒嘯;易天數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)集成和數(shù)據(jù)分析模塊的設計與實現(xiàn)[D];南京大學;2018年

8 張福麟;面向異構大數(shù)據(jù)集成的實體識別技術研究[D];北京郵電大學;2018年

9 李磊;基于ETL的數(shù)據(jù)集成及交換系統(tǒng)的實現(xiàn)與優(yōu)化[D];北方工業(yè)大學;2018年

10 李磊;人員數(shù)據(jù)集成管理平臺的設計與實現(xiàn)[D];北京交通大學;2017年

本文編號：2754180