本文關(guān)鍵詞：基于Hadoop的并行算法在預(yù)測(cè)客戶流失中的研究　出處：《江蘇大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 客戶流失 不平衡數(shù)據(jù) 支持向量機(jī) 差分進(jìn)化 Hadoop

【摘要】：隨著通信業(yè)的高速發(fā)展,用戶數(shù)量經(jīng)過(guò)一段時(shí)間的爆發(fā)性增長(zhǎng),目前新客戶的增加有所放緩。由于各家運(yùn)營(yíng)商間激烈的競(jìng)爭(zhēng),導(dǎo)致各家運(yùn)營(yíng)商都需要考慮如何降低客戶流失率給自身帶來(lái)的影響。因此,如何根據(jù)客戶的歷史數(shù)據(jù)預(yù)測(cè)出即將有可能流失的客戶并采取有效挽留措施成為各運(yùn)營(yíng)商的迫切需求。預(yù)測(cè)出有流失傾向的客戶其實(shí)是一個(gè)二值分類問(wèn)題,本文所采用的分類算法是支持向量機(jī)——SVM,SVM在二值分類學(xué)習(xí)任務(wù)中有著很好的泛化能力。但是有流失傾向的客戶在整個(gè)運(yùn)營(yíng)商客戶中只占一小部分,屬于不平衡數(shù)據(jù)。這給傳統(tǒng)的分類算法帶來(lái)一定的困難,分類結(jié)果會(huì)向數(shù)量多的類偏倚。因此,本文所做的工作是改進(jìn)SVM算法使其適用于不平衡數(shù)據(jù)。同時(shí),為了更好地適應(yīng)今后對(duì)大量數(shù)據(jù)的處理,本文基于Hadoop平臺(tái)的MapReduce框架對(duì)上述算法進(jìn)行了并行化處理。SVM通過(guò)創(chuàng)建一個(gè)線性邊界,對(duì)數(shù)據(jù)分類。當(dāng)數(shù)據(jù)線性不可分時(shí),SVM利用核函數(shù)將數(shù)據(jù)從低維映射到高維空間,從而將數(shù)據(jù)變得線性可分。然而在面對(duì)不平衡數(shù)據(jù)時(shí),即要研究的數(shù)據(jù)在整個(gè)數(shù)據(jù)中占比很小的情況下,SVM會(huì)向數(shù)量多的類偏倚,分類效果并不是很好。針對(duì)這個(gè)問(wèn)題,本文了提出DE-C-SVM算法,結(jié)合代價(jià)敏感算法對(duì)錯(cuò)分為不同類別賦予不同的懲罰因子,對(duì)少數(shù)類的錯(cuò)分賦予較高懲罰因子,以最小化全局錯(cuò)分代價(jià)為目標(biāo),再利用差分進(jìn)化算法對(duì)懲罰因子和核函數(shù)參數(shù)進(jìn)行優(yōu)化得到最佳參數(shù),從而提升算法的分類性能。本文選取UCI數(shù)據(jù)集中的8種不平衡數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù),并驗(yàn)證了該算法的有效性。接著對(duì)該算法進(jìn)行了并行化處理,在Hadoop平臺(tái)和單機(jī)下進(jìn)行可擴(kuò)展性實(shí)驗(yàn)以及Hadoop平臺(tái)下進(jìn)行加速比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明基于Hadoop平臺(tái)的算法可以很好地提升數(shù)據(jù)處理效率。最后,本文基于Hadoop平臺(tái)搭建了預(yù)測(cè)客戶流失模型�？蛻魯�(shù)據(jù)選取自某運(yùn)營(yíng)商,在對(duì)客戶數(shù)據(jù)進(jìn)行預(yù)處理之后運(yùn)用到預(yù)測(cè)客戶流失模型中。實(shí)驗(yàn)結(jié)果顯示該模型在得到較好預(yù)測(cè)效果的同時(shí)可以提升數(shù)據(jù)處理效率,從而提升運(yùn)營(yíng)商決策的效率,對(duì)運(yùn)營(yíng)商的日常運(yùn)營(yíng)有重要的現(xiàn)實(shí)意義。
【學(xué)位授予單位】：江蘇大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 夏靖波;韋澤鯤;付凱;陳珍;;云計(jì)算中Hadoop技術(shù)研究與應(yīng)用綜述[J];計(jì)算機(jī)科學(xué);2016年11期

2 劉凌;郭劍;韓崇;;面向不平衡數(shù)據(jù)的模糊支持向量機(jī)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2015年11期

3 魏浩;丁要軍;;一種基于相關(guān)的屬性選擇改進(jìn)算法[J];計(jì)算機(jī)應(yīng)用與軟件;2014年08期

4 文波;單甘霖;段修生;;基于KKT條件與殼向量的增量學(xué)習(xí)算法研究[J];計(jì)算機(jī)科學(xué);2013年03期

5 王紅艷;;一種基于Hadoop架構(gòu)的網(wǎng)絡(luò)安全事件分析方法[J];信息網(wǎng)絡(luò)安全;2013年01期

6 孫凱;王穎龍;;支持向量機(jī)中Mercer核函數(shù)的構(gòu)造研究[J];兵工自動(dòng)化;2008年11期

7 陳果;周伽;;小樣本數(shù)據(jù)的支持向量機(jī)回歸模型參數(shù)及預(yù)測(cè)區(qū)間研究[J];計(jì)量學(xué)報(bào);2008年01期

8 夏國(guó)恩;金煒東;;基于支持向量機(jī)的客戶流失預(yù)測(cè)模型[J];系統(tǒng)工程理論與實(shí)踐;2008年01期

9 陳果;;一種實(shí)現(xiàn)結(jié)構(gòu)風(fēng)險(xiǎn)最小化思想的結(jié)構(gòu)自適應(yīng)神經(jīng)網(wǎng)絡(luò)模型[J];儀器儀表學(xué)報(bào);2007年10期

10 劉繼海;陳曉劍;;SVM模型在信用卡申請(qǐng)管理中的創(chuàng)新應(yīng)用[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2007年04期

相關(guān)博士學(xué)位論文 前6條

1 劉國(guó)安;基于云理論的差分進(jìn)化算法改進(jìn)及應(yīng)用研究[D];哈爾濱工程大學(xué);2012年

2 康寧;航天測(cè)控優(yōu)化調(diào)度模型及其拉格朗日松弛求解算法[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

3 師金鋼;基于MapReduce架構(gòu)的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵技術(shù)研究[D];東北大學(xué);2011年

4 渠瑜;基于SVM的高不平衡分類技術(shù)研究及其在電信業(yè)的應(yīng)用[D];浙江大學(xué);2010年

5 楊智明;面向不平衡數(shù)據(jù)的支持向量機(jī)分類方法研究[D];哈爾濱工業(yè)大學(xué);2009年

6 徐圖;超球體多類支持向量機(jī)及其在DDoS攻擊檢測(cè)中的應(yīng)用[D];西南交通大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 鄒振宇;基于HDFS的云存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)與優(yōu)化[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

2 羅偉;前視車輛檢測(cè)及定位算法研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

3 束詩(shī)雨;基于集成學(xué)習(xí)的支持向量機(jī)預(yù)測(cè)優(yōu)化算法及其應(yīng)用[D];東華大學(xué);2015年

4 謝恒;分布式環(huán)境下計(jì)算結(jié)果重用的研究與實(shí)現(xiàn)[D];東華大學(xué);2015年

5 豐文安;機(jī)場(chǎng)噪聲預(yù)測(cè)SVR增量模型研究[D];南京航空航天大學(xué);2015年

6 程偉;基于半監(jiān)督SVM的非平衡學(xué)習(xí)[D];西安電子科技大學(xué);2014年

7 陳旭;基于Hadoop的海量小文件處理技術(shù)研究[D];電子科技大學(xué);2014年

8 孫娜娜;拉格朗日乘子估計(jì)在MIMO檢測(cè)中的應(yīng)用[D];大連理工大學(xué);2014年

9 李延光;基于Hadoop的海量工程數(shù)據(jù)處理技術(shù)研究[D];北京交通大學(xué);2013年

10 趙淑娟;基于非對(duì)稱加權(quán)和核方法的不平衡數(shù)據(jù)集算法研究[D];南京郵電大學(xué);2013年

，

本文編號(hào)：1323075