傳統(tǒng)跨國銀行的巴塞爾風控系統(tǒng),每天面臨萬億級數(shù)據(jù)的海量金融數(shù)據(jù)整合。提升海量數(shù)據(jù)整合的效率、穩(wěn)定和擴展能力已成為巴塞爾系統(tǒng)使用者的迫切需求。通過時下較為成熟、穩(wěn)定、輕量級Spring batch+Gemfire+CXF系統(tǒng)框架,以面向服務(wù)模式重構(gòu)整個業(yè)務(wù)處理系統(tǒng)。利用Spring Batch做高擴展、低耦合數(shù)據(jù)加載和計算,使用Gemfire做高速緩存以及CXF做數(shù)據(jù)接口發(fā)布。結(jié)果表明,該方法極大提升了系統(tǒng)運行效率、可靠性以及可擴展性,滿足了巴塞爾風控系統(tǒng)中金融大數(shù)據(jù)整合的需求。 

【文章來源】：計算機應用與軟件. 2020,37(08)北大核心

【文章頁數(shù)】：7 頁

【部分圖文】：

系統(tǒng)功能模塊圖

按照上述的系統(tǒng)主要功能需求,數(shù)據(jù)整合核心服務(wù)層主要分為Spring Batch大數(shù)據(jù)加載和通用服務(wù)數(shù)據(jù)處理兩大部分。Spring Batch+Gemfire+CXF 輕量級架構(gòu)系統(tǒng)結(jié)構(gòu)如圖2所示。本文利用Spring Batch批量讀入大文件,使用Mapper將文件數(shù)據(jù)映射成對象數(shù)據(jù),根據(jù)數(shù)據(jù)類型適配不同的數(shù)據(jù)處理器(Processor),并調(diào)用通用服務(wù)中與之對應的服務(wù)進行數(shù)據(jù)處理,將處理完成的數(shù)據(jù)存儲進數(shù)據(jù)庫,并發(fā)布在Gemfire cache中。

數(shù)據(jù)處理流程如圖3所示。本文將處理的數(shù)據(jù)分解為Job,并且為其定義屬性和基礎(chǔ)設(shè)施,通過Reader、Processor和Writer來實現(xiàn)數(shù)據(jù)業(yè)務(wù)處理、基于Pojo的開發(fā)以及領(lǐng)域?qū)ο竺枋�。本文分別使用了如下組件:

【參考文獻】：
期刊論文
[1]面向風險管理的銀行大數(shù)據(jù)分析系統(tǒng)架構(gòu)研究[J]. 盧小賓,徐超.  信息資源管理學報. 2018(02)
[2]基于Spring Batch數(shù)據(jù)遷移處理系統(tǒng)的設(shè)計與實現(xiàn)[J]. 金石聲,李玨.  中國新通信. 2016(20)
[3]基于GemFire的海量數(shù)據(jù)計算性能實驗分析[J]. 徐翔,鄒復民,廖律超,朱銓.  計算機應用. 2013(01)
[4]事務(wù)控制的面向服務(wù)系統(tǒng)的動態(tài)更新協(xié)調(diào)[J]. 王德俊,黃林鵬,徐小輝.  軟件學報. 2011(11)
[5]大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J]. 覃雄派,王會舉,杜小勇,王珊.  軟件學報. 2012(01)
[6]基于銀行數(shù)據(jù)倉庫的ETL系統(tǒng)的設(shè)計與實現(xiàn)[J]. 常艷莉,李一凡,趙懷慈.  微計算機信息. 2006(24)
[7]用BCP程序解決新老校區(qū)MELINETS系統(tǒng)的數(shù)據(jù)平衡[J]. 徐金紅.  情報雜志. 2004(07)



本文編號：2967473