隨著信息技術(shù)的快速發(fā)展,各種行業(yè)應用中對多源異構(gòu)數(shù)據(jù)的處理量飛速增長,如何對其進行高效的整合是是數(shù)據(jù)應用中的核心問題。然而,現(xiàn)有的數(shù)據(jù)整合工具在擴展性、性能、功能等方面存在不足,難以應對當下不斷變化的數(shù)據(jù)整合需求。為此,本文基于Disruptor隊列技術(shù)設計與實現(xiàn)了一個易擴展的高效ETL系統(tǒng)。首先本文研究并設計了一種基于插件式理念的“Framework + Plugin”ETL系統(tǒng)架構(gòu),并完成了系統(tǒng)功能模塊和任務執(zhí)行流程的設計。該架構(gòu)具有良好的可擴展性,可針對不同的數(shù)據(jù)源提供具體的適配,從而能較好地解決數(shù)據(jù)的多源異構(gòu)問題。然后,本文對ETL系統(tǒng)的性能優(yōu)化展開了進一步的研究。首先,通過對“生產(chǎn)者--消費者”模型中數(shù)據(jù)緩沖區(qū)的實現(xiàn)方法進行了探索與驗證,找到了傳統(tǒng)ETL工具中基于阻塞隊列技術(shù)的緩沖區(qū)性能問題所在,并基于Disruptor對數(shù)據(jù)緩沖區(qū)進行了性能優(yōu)化,通過性能測試對Disruptor在性能方面的改進進行了驗證。其次,采取了多線程并發(fā)的調(diào)度策略進行了 ETL工作流的設計。接下來,本文以傳統(tǒng)ETL工具的實時抽取功能為基礎(chǔ),分析了其問題所在并設計了相關(guān)優(yōu)化策略,設計并實現(xiàn)了一種可以進行動...

【文章頁數(shù)】：71 頁

【學位級別】：碩士

【部分圖文】：

圖１．?１課題項目背景??該平臺主要由“管理門戶系統(tǒng)”、“分布式集群監(jiān)控與管理系統(tǒng)”和“數(shù)據(jù)采??集與存儲系統(tǒng)”三部分組成，旨在整合大數(shù)據(jù)環(huán)境下的資源監(jiān)控與管理、集群配??

的問題進行研究與優(yōu)化，最終實現(xiàn)一種高效可靠且具有實用意義的ＥＴＬ系統(tǒng)。??本課題來源于某國企智慧交通大數(shù)據(jù)平臺項目，是整體平臺下的一個子系統(tǒng)??模塊，平臺整體架構(gòu)如圖１．１所示。??????％??／?＇?／?‘?“?ｗ：ｒ％?．＇廠?：：＇?３??．??．職：?一??ＨＯＰＳ分布....

圖２．?１簡單ＥＴＬ體系結(jié)構(gòu)??

專門化的工具，它的任務是處理數(shù)據(jù)倉庫的同構(gòu)性、數(shù)據(jù)清洗及裝載的問題ｔ３３：！”。??Ｓｉｍｉｔｓｉｓ?Ａ則將ＥＴＬ工具定義為“一組負責從多個不同種類和形式的數(shù)據(jù)源中抽??取數(shù)據(jù)，對數(shù)據(jù)進行清洗、定制，進而將其裝入到數(shù)據(jù)倉庫中的軟件［３４］”。圖２．１??是一個簡單的ＥＴＬ體系結(jié)構(gòu)....

圖２．?２基本生產(chǎn)者一消費者模型??其一個為生產(chǎn)者，負責生產(chǎn)數(shù)據(jù)，并把生產(chǎn)好的數(shù)據(jù)放入這塊公共緩沖區(qū)??

生產(chǎn)者一消費者（Ｐｒｏｄｕｃｅｒ－Ｃｏｎｓｕｍｅｒ）問題，也稱作有界緩沖（Ｂｏｕｎｄｅｄ－Ｂｕｆｆｅｒ）??問題，是五大經(jīng)典多線程同步問題之一。即，有兩個線程共享一塊固定大小的公??共緩沖區(qū)。圖２．２就是基本的生產(chǎn)者一消費者模型。??圖２．?２基本生產(chǎn)者一消費者模型??其中一個為....

圖２．３簡單的插件式結(jié)構(gòu)??

主要核心模塊，一般會讓開發(fā)者預先設計并實現(xiàn)好，對外提供相應的接口以供插??件進行對接和擴展。后者是功能補充模塊，可以通過低耦合的“拔插”形式為系??統(tǒng)添加新的功能。圖２．３就是一個簡單的插件式結(jié)構(gòu)。??插件１?｜插件２?｜｜插件３?Ｉ??Ｊ?Ｖ?Ｊ?ｙ??插件接ｍ?插件接ｃｉ２?....

本文編號：4015108