近年來,隨著數(shù)據(jù)的價(jià)值受到了越來越多的關(guān)注,數(shù)據(jù)逐漸成為銀行的核心資產(chǎn)之一,因此用于實(shí)現(xiàn)大數(shù)據(jù)存儲(chǔ)和分析的大數(shù)據(jù)平臺(tái)已經(jīng)成為銀行最重要的IT基礎(chǔ)設(shè)施之一。大數(shù)據(jù)平臺(tái)管理系統(tǒng)為大數(shù)據(jù)平臺(tái)的管理員提供了對(duì)大數(shù)據(jù)平臺(tái)的系統(tǒng)管理、基礎(chǔ)設(shè)施管理、日志管理、用戶管理等功能,對(duì)于充分發(fā)揮大數(shù)據(jù)平臺(tái)的應(yīng)用效能起到了重要的作用。然而隨著大數(shù)據(jù)應(yīng)用的日益深入,大數(shù)據(jù)應(yīng)用鮮明的行業(yè)特性使得通用設(shè)計(jì)的大數(shù)據(jù)平臺(tái)管理系統(tǒng)往往難于滿足特定行業(yè)的大數(shù)據(jù)應(yīng)用需求。在銀行應(yīng)用場(chǎng)景中,愈加強(qiáng)烈的競(jìng)爭(zhēng)使得各銀行不得不在大數(shù)據(jù)應(yīng)用創(chuàng)新方面給予更多的關(guān)注;同時(shí)當(dāng)銀行大數(shù)據(jù)平臺(tái)越來越復(fù)雜時(shí),還對(duì)平臺(tái)管理的復(fù)雜度和易用性提出了更高的需求。本文設(shè)計(jì)并實(shí)現(xiàn)了一套面向銀行應(yīng)用場(chǎng)景的大數(shù)據(jù)平臺(tái)管理系統(tǒng)。該系統(tǒng)引入了生產(chǎn)用大數(shù)據(jù)系統(tǒng)和實(shí)驗(yàn)用虛擬化系統(tǒng)協(xié)同的方法,在不影響生產(chǎn)用大數(shù)據(jù)系統(tǒng)的應(yīng)用效能、穩(wěn)定性和安全性的前提下,解決了便捷構(gòu)建和管理大數(shù)據(jù)實(shí)驗(yàn)環(huán)境的需求,實(shí)現(xiàn)了對(duì)銀行大數(shù)據(jù)應(yīng)用創(chuàng)新需求的支撐;運(yùn)用了大數(shù)據(jù)技術(shù),通過大數(shù)據(jù)平臺(tái)基礎(chǔ)設(shè)施和服務(wù)的配置信息、運(yùn)行狀態(tài)等數(shù)據(jù)的采集、聚合、存儲(chǔ)和分析,實(shí)現(xiàn)了大數(shù)據(jù)平臺(tái)的運(yùn)行狀態(tài)評(píng)估、異常狀態(tài)告警,... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：105 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１以Ｈａｄｏｏｐ為核心的大數(shù)據(jù)軟件生態(tài)圖??４??

?求。因此銀行大數(shù)據(jù)平臺(tái)管理系統(tǒng)需要針對(duì)這些需求進(jìn)行更進(jìn)一步的設(shè)計(jì)和實(shí)現(xiàn)。??圖３－３展示了銀行大數(shù)據(jù)平臺(tái)管理系統(tǒng)的需求。??ｐ數(shù)據(jù)實(shí)驗(yàn)室動(dòng)態(tài)創(chuàng)建??■■■■■■■■■■?—？－觀實(shí)驗(yàn)室管理??Ｌ生產(chǎn)用大數(shù)據(jù)系統(tǒng)與數(shù)據(jù)實(shí)驗(yàn)室間數(shù)據(jù)遷移??大數(shù)據(jù)平臺(tái)運(yùn)行數(shù)據(jù)采集??－大數(shù)據(jù)平臺(tái)運(yùn)行數(shù)據(jù)的聚合與存儲(chǔ)??￣域Ｊ１平自節(jié)賠ｉ￥倘群狀態(tài)分析??＇？大數(shù)據(jù)平臺(tái)歷史運(yùn)行狀態(tài)查詢??Ｌ大數(shù)據(jù)平臺(tái)運(yùn)行狀態(tài)可視化圖表??圖３－３銀行大數(shù)據(jù)平臺(tái)管理系統(tǒng)需求??３．２．１銀行應(yīng)用場(chǎng)景的特殊性??在銀行這種特殊的應(yīng)用場(chǎng)景下，大數(shù)據(jù)平臺(tái)管理系統(tǒng)需要考慮和解決一些特??殊的問題。??隨著銀行數(shù)量的不斷增加、用戶需求的不斷提升、銀行提供服務(wù)的同質(zhì)化，??導(dǎo)致銀行間的競(jìng)爭(zhēng)愈發(fā)激烈。在這樣的背景下，通過增強(qiáng)產(chǎn)品的創(chuàng)新能力，強(qiáng)化??用戶數(shù)據(jù)分析來進(jìn)一步理解用戶，從而提高產(chǎn)品的差異化水平和市場(chǎng)競(jìng)爭(zhēng)力。因??此，借助大數(shù)據(jù)技術(shù)和方法，實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用創(chuàng)新，也就成為了銀行提升業(yè)務(wù)質(zhì)??量、保障業(yè)務(wù)發(fā)展的有效解決方案［８］。??同時(shí)，由于銀行業(yè)務(wù)關(guān)系到用戶的資金，對(duì)數(shù)據(jù)的準(zhǔn)確性要求非常高，從而??需要應(yīng)用開發(fā)人員、數(shù)據(jù)分析人員在發(fā)布新的應(yīng)用前，需要進(jìn)行大量的、精密的??數(shù)據(jù)實(shí)驗(yàn)

用場(chǎng)景下需要滿足一些特殊的需求，如數(shù)據(jù)實(shí)驗(yàn)室的搭建、輕量化平臺(tái)管理等。??在這樣的需求背景下，大數(shù)據(jù)平臺(tái)的架構(gòu)需要進(jìn)行更有針對(duì)性的設(shè)計(jì)??平臺(tái)的整體架構(gòu)圖如圖４－１所示。??Ｉ????????????ｊ??ｉ?生產(chǎn)應(yīng)用?測(cè)贓用ｊ??！?＿?應(yīng)用層?＿?！??！丨丨．——！?ｉ?．．■■■．．．．?—．￣ｉ?｜數(shù)據(jù)實(shí)驗(yàn)室ｈ?！??：?ＭａｐＲｅｄｕＣ?ｓｐａｒｋ?Ｓｔｏｒｍ?｜?，?＇?，■?．?Ｉ?Ｈ＝?，，?］「?－ＺＺＨ?：??ｉ??１．?１Ｌ：」?數(shù)據(jù)ｇ移棋?數(shù)據(jù)實(shí)驗(yàn)室?數(shù)據(jù)實(shí)驗(yàn)室?數(shù)據(jù)?Ｉ？?數(shù)據(jù)?ｉ??分觀件?｜?Ｄａｔｉｘ?ｈ?管理梭塊?＊＊與存°儲(chǔ)?＾?：??Ｊ???Ｌｌ?：－－Ｊｌ丨坱?丨?｜橫塊｜｜?｜｜播塊｜｜?ｇ?Ｊ??；丨?￣｜??數(shù)據(jù)實(shí)驗(yàn)室管理子系線?｜｜?平臺(tái)管理子系統(tǒng)??；??ＳＱＬ?ＮｏＳＱＬ?￣＿?■……?????－?．．．?????????｜??：?數(shù)＾系?數(shù)＾系?ＨＤＦＳ?｜虛擬化管理?￣計(jì)算資源一￣?一￣存儲(chǔ)資源ＳＳ?￣￣１１１１?￣?！??；?丨統(tǒng)?丨統(tǒng)???｜?＃冢統(tǒng)?＆ｍ．?｜?丨艦；??ｊ???持久化組件???虔擬化系銃???；??！???生產(chǎn)用大教據(jù)系統(tǒng)??實(shí)驗(yàn)用虛擬化系統(tǒng)?｜！??ｉ??；??；?生產(chǎn)用大數(shù)據(jù)系抉所鬌物理設(shè)備?實(shí)驗(yàn)用虜擬化系統(tǒng)所霱物理設(shè)備??；?＾＾９．１?ｊ???面向銀行應(yīng)用場(chǎng)景的大數(shù)據(jù)平臺(tái)???圖４－１銀行大數(shù)據(jù)平臺(tái)架構(gòu)圖??在該平臺(tái)架構(gòu)設(shè)計(jì)中

【參考文獻(xiàn)】：
期刊論文
[1]北京銀行:借助大數(shù)據(jù)、機(jī)器學(xué)習(xí)技術(shù)構(gòu)建一體化運(yùn)維管理體系[J]. 楊春光.  中國(guó)金融電腦. 2018(07)
[2]基于Hadoop的大數(shù)據(jù)平臺(tái)架設(shè)探討[J]. 秦杰儀,曾志,孫蕾,鄧昭宇.  現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化. 2018(05)
[3]大數(shù)據(jù)時(shí)代下的Hadoop智能運(yùn)維[J]. 吳文昊.  通信世界. 2018(15)
[4]基于大數(shù)據(jù)的日志分析平臺(tái)在銀行中的研究與實(shí)現(xiàn)[J]. 王參參,姜青云,李彤.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2018(05)
[5]基于Hadoop技術(shù)的銀行大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)[J]. 韓健.  電子世界. 2017(22)
[6]Hadoop平臺(tái)的自動(dòng)化部署與監(jiān)控研究[J]. 于金良,朱志祥,李聰穎.  計(jì)算機(jī)與數(shù)字工程. 2016(12)
[7]Hadoop平臺(tái)下自響應(yīng)故障感知的檢測(cè)技術(shù)研究實(shí)現(xiàn)[J]. 趙序光,張樹東,嚴(yán)業(yè)平.  計(jì)算機(jī)測(cè)量與控制. 2016(11)
[8]基于海量數(shù)據(jù)的消息隊(duì)列的性能對(duì)比與優(yōu)化方案[J]. 劉峰,鄂海紅.  軟件. 2016(10)
[9]Hadoop管理系統(tǒng)研究與實(shí)現(xiàn)[J]. 尤元建,黃增建.  中國(guó)新通信. 2016(17)
[10]基于Hadoop生態(tài)集群管理系統(tǒng)Ambari的研究與分析[J]. 李可,李昕.  軟件. 2016(02)



本文編號(hào)：3472110