隨著分布式存儲(chǔ)、分布式計(jì)算等相關(guān)技術(shù)的成熟,大數(shù)據(jù)產(chǎn)業(yè)也獲得了快速的發(fā)展,無(wú)論是政府和企業(yè)都看到了大數(shù)據(jù)中所孕育的巨大的價(jià)值,開始對(duì)過(guò)去眾多業(yè)務(wù)系統(tǒng)所累積的龐大的數(shù)據(jù)進(jìn)行價(jià)值挖掘。但是傳統(tǒng)的數(shù)據(jù)管理模式與處理方式已經(jīng)無(wú)法滿足政府和企業(yè)對(duì)于海量異構(gòu)數(shù)據(jù)進(jìn)行多元化管理、標(biāo)準(zhǔn)化治理、高質(zhì)量融合,并通過(guò)高質(zhì)量數(shù)據(jù)實(shí)現(xiàn)精準(zhǔn)治理、快速?zèng)Q策的業(yè)務(wù)需求,而要讓這些海量數(shù)據(jù)釋放出其蘊(yùn)含的強(qiáng)大力量,必須要保證這些數(shù)據(jù)的準(zhǔn)確性、可靠性以及及時(shí)性,而要達(dá)成這一目標(biāo),如果沒(méi)有合適、高效的工具僅靠人力是難以完成的,因此我們有必要為用戶提供一套行之有效的工具來(lái)協(xié)助用戶進(jìn)行數(shù)據(jù)治理。本文的目的就是為了建設(shè)一套這樣的數(shù)據(jù)治理系統(tǒng),通過(guò)該系統(tǒng)一方面讓用戶能夠?qū)Χ嘣串悩?gòu)數(shù)據(jù)進(jìn)行多維組織、統(tǒng)一管理、快速檢索;同時(shí)能夠建立一套統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)治理流程,能夠持續(xù)地對(duì)數(shù)據(jù)進(jìn)行檢測(cè)處理,保證數(shù)據(jù)精確,為后續(xù)的業(yè)務(wù)決策提供高價(jià)值的土壤。本文首先對(duì)國(guó)內(nèi)大數(shù)據(jù)治理系統(tǒng)的市場(chǎng)規(guī)模和系統(tǒng)建設(shè)現(xiàn)狀等信息進(jìn)行闡述,提出目前大數(shù)據(jù)治理系統(tǒng)所面臨的挑戰(zhàn),以及建設(shè)大數(shù)據(jù)治理系統(tǒng)的必要性和意義。其次,本文將分析大數(shù)據(jù)治理系統(tǒng)的用戶需求,包括功能需求和... 

【文章來(lái)源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：83 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１大數(shù)據(jù)治理整體業(yè)務(wù)流程圖??從整體業(yè)務(wù)流程來(lái)看，數(shù)據(jù)資產(chǎn)管理對(duì)用戶所擁有的各種類型的數(shù)據(jù)源進(jìn)??行注冊(cè)和編目，并通過(guò)內(nèi)部自建的監(jiān)控任務(wù)對(duì)數(shù)據(jù)進(jìn)行檢測(cè)，讓用戶能夠理清??

?山東大學(xué)碩士學(xué)位論文???高一些，下面將從四個(gè)方面對(duì)本文所實(shí)現(xiàn)的大數(shù)據(jù)治理系統(tǒng)架構(gòu)進(jìn)行詳細(xì)介紹。??３．２．１大數(shù)據(jù)治理系統(tǒng)功能架構(gòu)??根據(jù)系統(tǒng)整體需求以及架構(gòu)設(shè)計(jì)，系統(tǒng)整體功能性設(shè)計(jì)圖如圖３－１所示：２１］。??｜｜?ｕ?修復(fù)算法魏?｜?衛(wèi)繊■—?ｎ??Ｓ?ｉ?Ｈ?｜｜｜?３＾：１?ｍｍ?；，問(wèn)觀據(jù)丨｜質(zhì)齡析報(bào)告１??＾￣￣??：?；???：?－—色??監(jiān)?Ｈ?｜?■；雄ｔｓ?��！?Ｓ?２?Ｔ?＼?－｜｜－??—?－■?…，?—?一￣＝?－?＿ｆＳ＿＾??曰志?數(shù)據(jù)源管理?；元數(shù)據(jù)管理?１數(shù)據(jù)資產(chǎn)統(tǒng)計(jì)?＿檢索?―寂限???８１＿＾理?ｌ?」；．．?■■?１??ｌ?乂?ｔａ??ｉ?—?????—Ｉ；?曰志??賺ｓｓ職存儲(chǔ)系統(tǒng)—關(guān)＿廳產(chǎn)？】賭蔽一卜大雛平臺(tái)■??—Ｉ?Ｉ?？?：?￣￣???．．．??—??￣￣￣？■？－｝；?．．?１．?：．?；?�。�???圖３－１大數(shù)據(jù)治理系統(tǒng)功能架構(gòu)圖??從該功能架構(gòu)圖上可以看到，本文所實(shí)現(xiàn)的大數(shù)據(jù)治理系統(tǒng)總體可劃分為??六大部分，每一部分的具體說(shuō)明如下：??１、數(shù)據(jù)資產(chǎn)管理??（１）提供數(shù)據(jù)源配置、數(shù)據(jù)資產(chǎn)目錄管理和數(shù)據(jù)地圖管理功能。其中數(shù)據(jù)??源配置既可以注冊(cè)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，又可以注冊(cè)大數(shù)據(jù)存儲(chǔ)系統(tǒng)。數(shù)據(jù)資??產(chǎn)目錄管理可為數(shù)據(jù)資產(chǎn)建立索引，方便用戶快速定位和檢索數(shù)據(jù)資產(chǎn)并進(jìn)行??數(shù)據(jù)治理。數(shù)據(jù)地圖可將數(shù)據(jù)按主題和專題等維度進(jìn)行邏輯組織，以便于從不??同的維度管理、查閱數(shù)據(jù)。??（２）提供元數(shù)據(jù)管理功能，對(duì)元數(shù)據(jù)進(jìn)行自動(dòng)獲娶維護(hù)。可自動(dòng)地根據(jù)??用戶配置的獲

?山東大學(xué)碩士學(xué)位論文???資源管理主要是對(duì)系統(tǒng)的菜單，按鈕以及其他資源進(jìn)行增刪改等操作。日志管??理對(duì)所有的用戶操作行為進(jìn)行記錄并提供查詢，方便安全審計(jì)。??３．２．２大數(shù)據(jù)治理系統(tǒng)物理架構(gòu)??系統(tǒng)整體的物理架構(gòu)圖也是網(wǎng)絡(luò)拓?fù)鋱D如圖３－２所示。??；；ＭＭ??｜?丨＿，，—門Ｓｆｌ??＿！?．．．．．．．．．．．?■??＊?１１１１１１１?＼?ｉ?＿?：國(guó)幽＾?—ｌ?＾??＃＝—？；?；｜?圍圓圍士?｜?Ｒｅｄｉｓ＾??！?＼ｗｍｔｍｗｊ?＼?ｉ??苔戶職?ｉ?Ａ??７?；??Ｎｇｍｘ?ｊ?－Ｗ－?ｒ－?ｙ－?ｇ；???Ｉ?？圓?！?ＬｉｔＨ?隻ｆ．ｊ??辦??！??圖３－２大數(shù)據(jù)治理系統(tǒng)物理架構(gòu)圖??在該網(wǎng)絡(luò)拓?fù)浼軜?gòu)圖中，大數(shù)據(jù)治理系統(tǒng)主體為虛線圈住的部分，其中包??括數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)、數(shù)據(jù)質(zhì)量服務(wù)、數(shù)據(jù)資產(chǎn)服務(wù)和數(shù)據(jù)修復(fù)服務(wù)四個(gè)核心服務(wù)，??以及權(quán)限認(rèn)證中心、系統(tǒng)管理服務(wù)和任務(wù)調(diào)度服務(wù)三個(gè)基礎(chǔ)服務(wù)，Ｚｉｍｌ網(wǎng)關(guān)服??務(wù)和注冊(cè)中心使用ＳｐｒｉｎｇＣＬｏｕｄ通用解決方案。其他的Ｎｇｉｎｘ、存儲(chǔ)集群、計(jì)??算集群以及Ｒｅｄｉｓ服務(wù)器均采用各自項(xiàng)目統(tǒng)一的資源池，由項(xiàng)目統(tǒng)一管理。??系統(tǒng)中的所有服務(wù)均采用多節(jié)點(diǎn)部署模式，避免出現(xiàn)單點(diǎn)故障，根據(jù)系統(tǒng)??業(yè)務(wù)量、數(shù)據(jù)量以及訪問(wèn)量的增長(zhǎng)，各服務(wù)可線性擴(kuò)展，滿足業(yè)務(wù)增長(zhǎng)需要；??所使用的服務(wù)器資源可根據(jù)負(fù)載情況進(jìn)行自動(dòng)調(diào)配，使相關(guān)硬件資源達(dá)到最優(yōu)??使用率。??從邏輯上看，大數(shù)據(jù)治理系統(tǒng)整體可劃分為接入層、權(quán)限中心、業(yè)務(wù)服務(wù)、??調(diào)度中心和存儲(chǔ)層五大部分。其中接入層包含兩大部分，一是反向代理Ｎｇｉｎｘ，??它對(duì)所有用戶交互請(qǐng)求進(jìn)行負(fù)載均衡；二


本文編號(hào)：3521160