隨著我們的社會(huì)邁入大數(shù)據(jù)時(shí)代,社會(huì)中的數(shù)據(jù)呈現(xiàn)指數(shù)級(jí)增長(zhǎng),根據(jù)國(guó)際數(shù)據(jù)公司（IDC）的發(fā)布的數(shù)據(jù)統(tǒng)計(jì)白皮書,在2016年全球大約產(chǎn)生了16.1ZB數(shù)據(jù)。報(bào)告指出到了2025年,全球數(shù)據(jù)量將達(dá)到163ZB。在這個(gè)高度信息化的社會(huì),數(shù)據(jù)作為一種重要的戰(zhàn)略資產(chǎn),對(duì)組織領(lǐng)導(dǎo)決策的制定有著至關(guān)重要的影響。在這海量增長(zhǎng)的數(shù)據(jù)中,夾雜著各式各樣的問題數(shù)據(jù)。由于低質(zhì)量的數(shù)據(jù)做出的錯(cuò)誤決策,每年都會(huì)給組織造成難以衡量的損失。數(shù)據(jù)質(zhì)量問題已經(jīng)成為現(xiàn)代社會(huì)各個(gè)組織必須要面臨解決的問題。信息化組織需要一種能夠?qū)ο到y(tǒng)每年增長(zhǎng)的大量數(shù)據(jù)進(jìn)行檢測(cè)的管理系統(tǒng)。本課題設(shè)計(jì)的系統(tǒng)中,包含數(shù)據(jù)模型解析管理、檢測(cè)模型管理、調(diào)度任務(wù)管理、數(shù)據(jù)資產(chǎn)管理、訂閱監(jiān)控管理、可視化展示六大模塊。數(shù)據(jù)模型解析管理,可以幫助用戶將模型中的數(shù)據(jù)字段解析出來,與云平臺(tái)中的字段進(jìn)行匹配,為模型設(shè)置準(zhǔn)備字段。檢測(cè)模型管理模塊,讓用戶創(chuàng)建符合業(yè)務(wù)邏輯的檢測(cè)模型。調(diào)度任務(wù)管理模塊,讓用戶能夠控制模型的執(zhí)行時(shí)間。數(shù)據(jù)資產(chǎn)管理,讓用戶可以注冊(cè)自己需要管理的數(shù)據(jù)。訂閱監(jiān)控管理模塊,使用戶能夠?qū)z測(cè)結(jié)果進(jìn)行監(jiān)控。在本系統(tǒng)利用Spring Boot作為系統(tǒng)的框架... 

【文章來源】：大連理工大學(xué)遼寧省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：76 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景與意義
    1.2 國(guó)內(nèi)外研究概況
    1.3 論文的主要研究?jī)?nèi)容
    1.4 論文的主要結(jié)構(gòu)
2 相關(guān)技術(shù)研究
    2.1 數(shù)據(jù)質(zhì)量管理
        2.1.1 數(shù)據(jù)質(zhì)量管理概述
        2.1.2 數(shù)據(jù)質(zhì)量管理流程
        2.1.3 數(shù)據(jù)質(zhì)量的評(píng)價(jià)體系
        2.1.4 數(shù)據(jù)質(zhì)量可視化管理
    2.2 WEB技術(shù)
        2.2.1 MVC模式
        2.2.2 SpringBoot開發(fā)框架
        2.2.3 Quartz調(diào)度管理框架
    2.3 分布式大數(shù)據(jù)技術(shù)
        2.3.1 Spark概述
        2.3.2 Livy概述
    2.4 本章小結(jié)
3 數(shù)據(jù)質(zhì)量系統(tǒng)的需求分析
    3.1 目標(biāo)用戶分析
    3.2 系統(tǒng)功能需求分析
        3.2.1 數(shù)據(jù)模型解析功能
        3.2.2 數(shù)據(jù)質(zhì)量檢測(cè)功能
        3.2.3 調(diào)度任務(wù)管理功能
        3.2.4 信息可視化展示功能
        3.2.5 數(shù)據(jù)資產(chǎn)注冊(cè)功能
        3.2.6 訂閱監(jiān)控功能
    3.3 系統(tǒng)非功能性需求
    3.4 本章小結(jié)
4 數(shù)據(jù)質(zhì)量系統(tǒng)的設(shè)計(jì)
    4.1 系統(tǒng)概要設(shè)計(jì)
        4.1.1 系統(tǒng)總體框架
        4.1.2 數(shù)據(jù)質(zhì)量管理系統(tǒng)技術(shù)體系
        4.1.3 數(shù)據(jù)質(zhì)量管理平臺(tái)功能架構(gòu)
        4.1.4 數(shù)據(jù)質(zhì)量管理平臺(tái)主業(yè)務(wù)流程
    4.2 系統(tǒng)詳細(xì)設(shè)計(jì)
        4.2.1 數(shù)據(jù)模型解析模塊
        4.2.2 檢測(cè)模型模塊
        4.2.3 調(diào)度任務(wù)模塊
        4.2.4 信息可視化模塊
        4.2.5 數(shù)據(jù)資產(chǎn)管理模塊
        4.2.6 訂閱監(jiān)控模塊
    4.3 數(shù)據(jù)庫設(shè)計(jì)
        4.3.1 概述
        4.3.2 關(guān)鍵表設(shè)計(jì)
    4.4 本章小結(jié)
5 數(shù)據(jù)質(zhì)量系統(tǒng)的實(shí)現(xiàn)
    5.1 系統(tǒng)實(shí)現(xiàn)的軟硬件環(huán)境
    5.2 系統(tǒng)實(shí)現(xiàn)的邏輯分層
    5.3 檢測(cè)模型管理模塊的實(shí)現(xiàn)
    5.4 調(diào)度任務(wù)管理模塊的實(shí)現(xiàn)
    5.5 可視化管理模塊的實(shí)現(xiàn)
    5.6 本章小結(jié)
6 系統(tǒng)測(cè)試
    6.1 系統(tǒng)運(yùn)行環(huán)境
    6.2 系統(tǒng)功能測(cè)試
    6.3 本章小結(jié)
結(jié)論
參考文獻(xiàn)
致謝


【參考文獻(xiàn)】：
期刊論文
[1]國(guó)內(nèi)外數(shù)據(jù)治理研究進(jìn)展:內(nèi)涵、要素、模型與框架[J]. 劉桂鋒,錢錦琳,盧章平.  圖書情報(bào)工作. 2017(21)
[2]大數(shù)據(jù)環(huán)境下的數(shù)據(jù)質(zhì)量管理策略[J]. 劉金晶,曹文潔.  軟件導(dǎo)刊. 2017(03)
[3]Spring Boot研究和應(yīng)用[J]. 王永和,張勁松,鄧安明,周智勛.  信息通信. 2016(10)
[4]面向?qū)嶓w識(shí)別的聚類算法[J]. 孫琛琛,申德榮,寇月,聶鐵錚,于戈.  軟件學(xué)報(bào). 2016(09)
[5]關(guān)聯(lián)數(shù)據(jù)質(zhì)量評(píng)價(jià)方法研究述評(píng)[J]. 趙文軒,李春旺.  情報(bào)理論與實(shí)踐. 2016(02)
[6]大數(shù)據(jù)質(zhì)量管理:問題與研究進(jìn)展[J]. 王宏志.  科技導(dǎo)報(bào). 2014(34)
[7]電網(wǎng)調(diào)度數(shù)據(jù)資源的主數(shù)據(jù)管理[J]. 羅洪,嚴(yán)偉峰,楊世兵.  云南大學(xué)學(xué)報(bào)(自然科學(xué)版). 2013(S2)
[8]基于DMAIC流程改進(jìn)數(shù)據(jù)質(zhì)量[J]. 商廣娟.  質(zhì)量與可靠性. 2009(06)
[9]信息系統(tǒng)建設(shè)中的數(shù)據(jù)質(zhì)量管理體系研究[J]. 谷斌.  情報(bào)雜志. 2007(05)
[10]信息系統(tǒng)中的數(shù)據(jù)質(zhì)量評(píng)價(jià)方法研究[J]. 向上.  現(xiàn)代情報(bào). 2007(03)

博士論文
[1]實(shí)體識(shí)別關(guān)鍵技術(shù)的研究[D]. 黎玲利.哈爾濱工業(yè)大學(xué) 2015

碩士論文
[1]基于Spark的情報(bào)大數(shù)據(jù)可視化分析[D]. 李筱川.山東大學(xué) 2017
[2]基于MES的質(zhì)量管理系統(tǒng)數(shù)據(jù)可視化研究[D]. 宋宇.東南大學(xué) 2017
[3]數(shù)據(jù)中心的數(shù)據(jù)質(zhì)量管理工具設(shè)計(jì)與實(shí)現(xiàn)[D]. 劉中超.華中科技大學(xué) 2013



本文編號(hào)：3503065