隨著中國(guó)經(jīng)濟(jì)快速穩(wěn)定的發(fā)展,互聯(lián)網(wǎng)金融信貸業(yè)務(wù)的發(fā)展也來(lái)到了高潮�？蛻魯�(shù)據(jù)爆發(fā)式增長(zhǎng),傳統(tǒng)依靠專家型數(shù)據(jù)分析的結(jié)果缺乏可靠性、準(zhǔn)確性以及對(duì)海量數(shù)據(jù)處理效率緩慢,無(wú)法有效的挖掘出數(shù)據(jù)的價(jià)值等缺陷日益突出。如何更好挖掘出用戶信貸數(shù)據(jù),購(gòu)物數(shù)據(jù)中蘊(yùn)含的信息對(duì)客戶的信用進(jìn)行定級(jí)以減少壞賬的發(fā)生,同時(shí)對(duì)客戶準(zhǔn)確分類以做到更好的互聯(lián)網(wǎng)金融風(fēng)控成為了重要的研究方向。由于金融行業(yè)的特殊性,為了降低開(kāi)發(fā)評(píng)分卡模型的門檻以及提高建模效率,應(yīng)該有一套信用評(píng)分系統(tǒng)能夠完成信用評(píng)分模型的構(gòu)建。針對(duì)上述問(wèn)題和需求,通過(guò)查詢和閱讀相關(guān)文獻(xiàn)對(duì)信用評(píng)分系統(tǒng)進(jìn)行深入研究,改進(jìn)了卡方分箱法分箱后WOE不單調(diào)以及某個(gè)分箱中樣本占比過(guò)多等問(wèn)題;使用基于IV值、皮爾遜相關(guān)系數(shù)、假設(shè)檢驗(yàn)、逐步回歸等方法挑選入模變量解決了互聯(lián)網(wǎng)高維特征難以挑選的問(wèn)題;對(duì)Spark技術(shù)框架進(jìn)行深入研究,實(shí)現(xiàn)了一個(gè)信用評(píng)分系統(tǒng),該系統(tǒng)由資源管理模塊、模型構(gòu)建模塊、可視化模塊三大模塊構(gòu)成。其中資源管理模塊由數(shù)據(jù)資源管理、模型管理、任務(wù)流程管理構(gòu)成。其主要負(fù)責(zé)數(shù)據(jù)的上傳下載、模型的存儲(chǔ)和刪除、任務(wù)的查找和刪除等;模型構(gòu)建模塊由功能組件和算法組件構(gòu)成。其中功... 

【文章來(lái)源】：浙江工業(yè)大學(xué)浙江省

【文章頁(yè)數(shù)】：78 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

表現(xiàn)期與觀察期Figure2-2.Performanceperiodandobservationperiod

浙江工業(yè)大學(xué)碩士學(xué)位論文23從概率分布上講，TPR為累積的好用戶的概率分布，F(xiàn)PR為累積的壞客戶的概率分布。KS曲線的繪制原理為:首先對(duì)所有的樣本按照模型給出的預(yù)測(cè)概率進(jìn)行降序排序，將訓(xùn)練樣本等頻分為10，取每一個(gè)分段的臨界點(diǎn)處的概率值作為閾值，分別計(jì)算TPR以及FPR。然后以該閾值作為橫坐標(biāo)，TPR以及FPR作為縱坐標(biāo)。曲線類似于下圖2-11:圖2-11KS曲線Figure2-11KScurveKS值主要用來(lái)度量好壞客戶累計(jì)分布函數(shù)之間差值的大校差值越大說(shuō)明好壞分布越明顯，銀行在信用評(píng)分模型實(shí)際使用中十分重視KS值的大校以下表2-9為常見(jiàn)的KS值評(píng)估指標(biāo)[50]。表2-9KS評(píng)估指標(biāo)Table2-9.KSevaluationindexKS模型表現(xiàn)<0.2差0.2-0.4一般0.4-0.5好0.5-0.6很好0.6-0.75非常好0.75-1完美

信用評(píng)分系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)303.3.1變量相關(guān)性分析在單變量相關(guān)性分析中變量的篩選一般經(jīng)過(guò)以下幾個(gè)步驟：①將變量按照分組計(jì)算后的IV值降序排序②計(jì)算第i和第i+1變量的皮爾遜相關(guān)系數(shù)corr③對(duì)于corr大于0.7的變量對(duì)，刪除IV值較小的那個(gè)變量流程圖如下圖3-5所示:IV降序排序,計(jì)算第i,i+1個(gè)變量之間corrCorr>0.7所有變量符合條件輸出變量列表移除IV較小的變量變量列表是是否否圖3-5單變量篩選流程Figure3-5.Singlevariablescreeningprocess經(jīng)過(guò)單變量篩選后，變量列表中的變量?jī)蓛芍g的相關(guān)系數(shù)都低于閾值。篩選后的變量相關(guān)性可視化熱點(diǎn)圖如下圖3-6所示:圖3-6變量皮爾遜系數(shù)熱點(diǎn)圖Figure3-6.Pearsoncoefficientheatmap在經(jīng)過(guò)單變量篩選后的變量會(huì)進(jìn)入多重共性線篩選環(huán)節(jié)，來(lái)剔除多個(gè)變量之間存在多重共線性的變量。一般使用VIF(VarianceInflationFactor)值來(lái)衡量，

【參考文獻(xiàn)】：
期刊論文
[1]并行計(jì)算框架Spark中一種新的RDD分區(qū)權(quán)重緩存替換算法[J]. 劉恒,譚良.  小型微型計(jì)算機(jī)系統(tǒng). 2018(10)
[2]基于Spark核心架構(gòu)的大數(shù)據(jù)平臺(tái)技術(shù)研究與實(shí)踐[J]. 曹猛.  中國(guó)戰(zhàn)略新興產(chǎn)業(yè). 2018(28)
[3]數(shù)據(jù)挖掘模型在小企業(yè)主信用評(píng)分領(lǐng)域的應(yīng)用[J]. 王磊,范超,解明明.  統(tǒng)計(jì)研究. 2014(10)
[4]基于Lasso-logistic模型的個(gè)人信用風(fēng)險(xiǎn)預(yù)警方法[J]. 方匡南,章貴軍,張惠穎.  數(shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究. 2014(02)
[5]關(guān)于互聯(lián)網(wǎng)金融的若干思考[J]. 陳敬民.  金融縱橫. 2013(09)
[6]不平衡數(shù)據(jù)分類方法及其在入侵檢測(cè)中的應(yīng)用研究[J]. 江頡,王卓芳,GONG Rong-sheng,陳鐵明.  計(jì)算機(jī)科學(xué). 2013(04)
[7]Logistic模型中參數(shù)的自適應(yīng)Lasso估計(jì)[J]. 王娉,郭鵬江,夏志明.  西北大學(xué)學(xué)報(bào)(自然科學(xué)版). 2012(05)
[8]基于信用評(píng)分模型的我國(guó)商業(yè)銀行客戶違約概率研究[J]. 王穎,聶廣禮,石勇.  管理評(píng)論. 2012(02)
[9]基于多分類器組合的個(gè)人信用評(píng)估模型[J]. 向暉,楊勝剛.  湖南大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版). 2011(03)
[10]基于FAHP的個(gè)人信用評(píng)分模型[J]. 易傳和,彭江.  統(tǒng)計(jì)與決策. 2009(15)

博士論文
[1]基于決策樹(shù)的信用風(fēng)險(xiǎn)評(píng)估方法研究[D]. 趙靜嫻.天津大學(xué) 2009

碩士論文
[1]基于云計(jì)算的故障裝備大數(shù)據(jù)技術(shù)研究[D]. 洪棟斌.北京郵電大學(xué) 2019
[2]面向推薦的大數(shù)據(jù)計(jì)算與存儲(chǔ)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 李琛軒.哈爾濱工業(yè)大學(xué) 2016
[3]信用評(píng)分卡在電商小微企業(yè)信貸中的應(yīng)用[D]. 丁衛(wèi)東.浙江大學(xué) 2016
[4]基于數(shù)據(jù)挖掘的個(gè)人信用評(píng)分系統(tǒng)的分析與設(shè)計(jì)[D]. 彭州.西南財(cái)經(jīng)大學(xué) 2003



本文編號(hào)：2973562