在大數(shù)據(jù)時代,基于不同業(yè)務數(shù)據(jù)開發(fā)新的應用程序已成為企業(yè)信息化建設的重點。但是,隨之產(chǎn)生的諸多數(shù)據(jù)問題會導致應用程序無法高效且準確地滿足實際業(yè)務需求,甚至影響整個企業(yè)數(shù)據(jù)平臺的建設。因此,為解決以上數(shù)據(jù)問題,數(shù)據(jù)治理的相關技術研究逐漸受到各大企業(yè)的重視,同時也涌現(xiàn)出許多數(shù)據(jù)治理方向的系統(tǒng)產(chǎn)品。但是目前已有的數(shù)據(jù)治理系統(tǒng)具有以下缺點:1)缺乏統(tǒng)一的數(shù)據(jù)治理標準化流程。2)缺少對大規(guī)模數(shù)據(jù)的多維度展示和建模;3)管理范圍狹窄,需要與特定系統(tǒng)對接,且流程復雜,需要大量人工輔助操作環(huán)節(jié)。為完善這些缺點,本課題圍繞“基于Hadoop的數(shù)據(jù)治理系統(tǒng)的設計與實現(xiàn)”,結合國內(nèi)外最新研究內(nèi)容,確定本課題主要研究內(nèi)容如下:（1）設計實現(xiàn)基于Hadoop的數(shù)據(jù)管理標準化流程子系統(tǒng),形成一套對特定結構數(shù)據(jù)完整的數(shù)據(jù)治理操作流程,保證治理步驟執(zhí)行的完整性。（2）在保證數(shù)據(jù)管理流程標準的基礎上,擴展系統(tǒng)適用場景,以開源元數(shù)據(jù)管理工具Apache Atlas為基礎搭建多源元數(shù)據(jù)統(tǒng)一管理子系統(tǒng),形成對大數(shù)據(jù)處理平臺元數(shù)據(jù)信息的統(tǒng)一監(jiān)管和維護。（3）設計實現(xiàn)基于Kylin的多維數(shù)據(jù)建模子系統(tǒng)。以數(shù)據(jù)管理標準化流程子系統(tǒng)... 

【文章來源】：北京郵電大學北京市211工程院校教育部直屬院校

【文章頁數(shù)】：79 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景和意義
        1.1.1 研究背景
        1.1.2 研究意義
    1.2 研究現(xiàn)狀
        1.2.1 數(shù)據(jù)治理理論研究
        1.2.2 數(shù)據(jù)治理產(chǎn)品概述
        1.2.3 研究中存在的問題
    1.3 本文主要研究內(nèi)容
    1.4 碩士在讀期間主要完成工作
    1.5 本文組織結構
第二章 數(shù)據(jù)治理相關技術和方案研究
    2.1 數(shù)據(jù)治理概念及體系設計
        2.1.1 數(shù)據(jù)治理概念研究
        2.1.2 數(shù)據(jù)治理統(tǒng)一流程模型
        2.1.3 海量數(shù)據(jù)治理技術選型
        2.1.4 本課題研究內(nèi)容小結
    2.2 元數(shù)據(jù)管理方案研究
        2.2.1 元數(shù)據(jù)管理意義
        2.2.2 現(xiàn)有管理工具調(diào)研
        2.2.3 開源元數(shù)據(jù)管理工具——Apache Atlas
        2.2.4 本課題研究內(nèi)容小結
    2.3 多維度數(shù)據(jù)的建模方案研究
        2.3.1 多維建模與數(shù)據(jù)治理的關系
        2.3.2 現(xiàn)有建模方案調(diào)研
        2.3.3 本課題研究內(nèi)容小結
第三章 數(shù)據(jù)治理系統(tǒng)功能與架構設計
    3.1 需求分析
        3.1.1 系統(tǒng)概述
        3.1.2 系統(tǒng)功能性需求描述
        3.1.3 系統(tǒng)非功能性需求描述
    3.2 系統(tǒng)功能及流程設計
        3.2.1 系統(tǒng)功能設計
        3.2.2 系統(tǒng)工作流程設計
    3.3 系統(tǒng)架構設計
        3.3.1 整體架構設計
        3.3.2 技術架構設計
    3.4 數(shù)據(jù)庫接口設計
        3.4.1 數(shù)據(jù)管理標準化流程模塊
        3.4.2 多維數(shù)據(jù)建模模塊
        3.4.3 數(shù)據(jù)資產(chǎn)監(jiān)控模塊
第四章 數(shù)據(jù)治理系統(tǒng)核心模塊設計與實現(xiàn)
    4.1 數(shù)據(jù)管理標準化流程子系統(tǒng)設計與實現(xiàn)
        4.1.1 數(shù)據(jù)治理信息管理和數(shù)據(jù)源選擇模塊設計與實現(xiàn)
        4.1.2 數(shù)據(jù)預覽與單源元數(shù)據(jù)管理模塊設計與實現(xiàn)
        4.1.3 數(shù)據(jù)質(zhì)量管理模塊設計與實現(xiàn)
        4.1.4 多源數(shù)據(jù)融合模塊設計與實現(xiàn)
    4.2 多源元數(shù)據(jù)統(tǒng)一管理子系統(tǒng)設計與實現(xiàn)
        4.2.1 多源元數(shù)據(jù)統(tǒng)一管理方案
        4.2.2 基于Atlas的技術架構設計與實現(xiàn)
    4.3 多維數(shù)據(jù)建模子系統(tǒng)設計與實現(xiàn)
        4.3.1 系統(tǒng)功能架構設計
        4.3.2 核心模塊實現(xiàn)方案
    4.4 全局數(shù)據(jù)資產(chǎn)監(jiān)控子系統(tǒng)設計與實現(xiàn)
        4.4.1 系統(tǒng)架構設計
        4.4.2 具體實現(xiàn)方案
第五章 數(shù)據(jù)治理系統(tǒng)應用與測試
    5.1 數(shù)據(jù)治理系統(tǒng)應用說明
    5.2 系統(tǒng)功能測試
    5.3 系統(tǒng)性能測試
        5.3.1 系統(tǒng)模塊通用測試方案
        5.3.2 多源數(shù)據(jù)融合模塊測試方案
第六章 結論
    6.1 論文工作總結
    6.2 進一步工作
參考文獻
致謝
攻讀學位期間取得的研究成果


【參考文獻】：
期刊論文
[1]面向數(shù)據(jù)開放的地方政府數(shù)據(jù)治理:問題與路徑[J]. 王翔,鄭磊.  電子政務. 2019(02)
[2]我國開放政府數(shù)據(jù)“臟數(shù)據(jù)”問題研究及應對——地方政府數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量調(diào)查與分析[J]. 翟軍,李曉彤,苗珍珍,李劍鋒.  圖書館. 2019(01)
[3]醫(yī)療數(shù)據(jù)治理——構建高質(zhì)量醫(yī)療大數(shù)據(jù)智能分析數(shù)據(jù)基礎[J]. 阮彤,邱加輝,張知行,葉琪.  大數(shù)據(jù). 2019(01)
[4]企業(yè)數(shù)據(jù)資產(chǎn)治理與管理[J]. 韓旭,曹增義,王昭陽.  電子世界. 2018(23)
[5]企業(yè)信息化元數(shù)據(jù)管理方法研究[J]. 謝慶慶.  中國信息化. 2018(04)
[6]從數(shù)據(jù)管理走向數(shù)據(jù)治理——大數(shù)據(jù)環(huán)境下圖書館職能的轉(zhuǎn)變[J]. 任亞忠.  四川圖書館學報. 2017(04)
[7]大數(shù)據(jù)治理的概念與要素探析[J]. 鄭大慶,范穎捷,潘蓉,蔡會明.  科技管理研究. 2017(15)
[8]云端數(shù)據(jù)治理定義解析[J]. 程廣明,李堯,劉小茵.  科技創(chuàng)新導報. 2017(16)
[9]數(shù)據(jù)治理研究述評[J]. 張寧,袁勤儉.  情報雜志. 2017(05)
[10]開源大數(shù)據(jù)治理與安全軟件綜述[J]. 王文杰,胡柏青,劉馳.  信息網(wǎng)絡安全. 2017(05)

碩士論文
[1]遠程健康監(jiān)護大數(shù)據(jù)質(zhì)量優(yōu)化控制方法研究[D]. 陳東.廣東工業(yè)大學 2018
[2]基于數(shù)據(jù)倉庫的社保統(tǒng)計分析系統(tǒng)的設計與實現(xiàn)[D]. 唐磊.電子科技大學 2018
[3]傳媒大數(shù)據(jù)多維數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[D]. 陳佳文.大連理工大學 2018
[4]H電力公司大數(shù)據(jù)治理體系構建及實施研究[D]. 劉潔麗.電子科技大學 2017



本文編號：3630963