基于大數(shù)據(jù)的全業(yè)務(wù)積分系統(tǒng)及精準(zhǔn)營銷技術(shù)研發(fā)
發(fā)布時(shí)間:2020-05-30 14:01
【摘要】:在國家實(shí)施國企改革“不斷增強(qiáng)國有經(jīng)濟(jì)活力、控制力、影響力”的總體目標(biāo)下,電信運(yùn)營商積極探索市場化改革,進(jìn)行“劃小承包”,增強(qiáng)對(duì)一線員工的激勵(lì),激發(fā)一線員工為客戶提供更好更優(yōu)質(zhì)的服務(wù),實(shí)現(xiàn)員工、企業(yè)和社會(huì)共贏的局面。目前管理上唯KPI化,導(dǎo)致一線員工為了完成KPI而被動(dòng)工作,而存量客戶維系和新用戶的發(fā)展不能很好的協(xié)同。同時(shí)在員工激勵(lì)上不透明不及時(shí),員工的積極性不能得到及時(shí)的激勵(lì)。在營銷工具和手段上,一線客戶經(jīng)理缺少精準(zhǔn)營銷的工具,采取人海戰(zhàn)術(shù)對(duì)客戶進(jìn)行輪番營銷,費(fèi)時(shí)費(fèi)力,形成目前營銷高成本低效率的局面。為解決目前運(yùn)營商存在的上述問題,運(yùn)營商啟動(dòng)積分系統(tǒng)的建設(shè)。建設(shè)的主要內(nèi)容和功能包括四個(gè)子系統(tǒng):系統(tǒng)管理子系統(tǒng)、數(shù)據(jù)ETL子系統(tǒng)、積分子系統(tǒng)和精準(zhǔn)營銷子系統(tǒng)。其中系統(tǒng)管理子系統(tǒng)主要提供系統(tǒng)的基礎(chǔ)功能,為系統(tǒng)提供分權(quán)分域的權(quán)限控制,確保系統(tǒng)和數(shù)據(jù)的安全;數(shù)據(jù)ETL子系統(tǒng)主要基于Kettle實(shí)現(xiàn)數(shù)據(jù)采集、轉(zhuǎn)換和加載,實(shí)現(xiàn)多個(gè)異構(gòu)系統(tǒng)數(shù)據(jù)的接入和集成,并對(duì)數(shù)據(jù)采集的過程進(jìn)行監(jiān)測,確保數(shù)據(jù)采集的及時(shí)性、完整性和穩(wěn)定性;積分子系統(tǒng)采用數(shù)據(jù)倉庫技術(shù),建立積分規(guī)則模型,支撐積分計(jì)算規(guī)則靈活可配置,快速響應(yīng)市場營銷政策的調(diào)整,實(shí)現(xiàn)和支撐了對(duì)運(yùn)營商在公司層面全業(yè)務(wù)積分、收入和發(fā)展情況的多維度的可視化分析和探索;精準(zhǔn)營銷子系統(tǒng)采用大數(shù)據(jù)技術(shù),在原始特征的基礎(chǔ)上進(jìn)行客戶特征的豐富和拓展,為一線銷售人員提供一個(gè)完整鮮活的客戶畫像,采用本論文提煉的基于客戶細(xì)分的協(xié)同過濾計(jì)算模式,實(shí)現(xiàn)個(gè)性化的商機(jī)推薦,并且通過對(duì)營銷單的閉環(huán)管控,實(shí)現(xiàn)人機(jī)協(xié)作一體化的信息反饋和計(jì)算模型的不斷優(yōu)化。本論文采用大數(shù)據(jù)、數(shù)據(jù)倉庫、機(jī)器學(xué)習(xí)和可視化技術(shù)等技術(shù),設(shè)計(jì)了積分規(guī)則模型、數(shù)據(jù)倉庫三層模型和客戶畫像特征體系,并實(shí)現(xiàn)了全業(yè)務(wù)積分計(jì)算和責(zé)任田計(jì)算。同時(shí)本論文提出了基于客戶細(xì)分的隨機(jī)森林-協(xié)同推薦算法。該算法經(jīng)實(shí)驗(yàn)驗(yàn)證比普通協(xié)同過濾算法效率更高,以更小的K值達(dá)到最高的準(zhǔn)確率,從而減少運(yùn)算量和提升計(jì)算性能。論文的主要貢獻(xiàn)包括:1)以責(zé)任田為基礎(chǔ),將積分應(yīng)用于運(yùn)營商內(nèi)部的客戶經(jīng)理業(yè)績考核,統(tǒng)籌協(xié)同業(yè)務(wù)發(fā)展和存量經(jīng)營,有效支撐運(yùn)營商的市場運(yùn)營管理;2)在計(jì)算模式方面,充分結(jié)合客戶畫像特征和客戶訂購行為各自優(yōu)勢,“動(dòng)”“靜”結(jié)合,提煉出基于客戶細(xì)分的協(xié)同過濾的計(jì)算模式;3)在客戶畫像上采用機(jī)器學(xué)習(xí)、統(tǒng)計(jì)和邏輯推理多種手段,進(jìn)行客戶特征的衍生;4)在系統(tǒng)工程方面,充分利用運(yùn)營商線下營銷能力,商機(jī)計(jì)算作為精準(zhǔn)營銷閉環(huán)管控的一環(huán),實(shí)現(xiàn)了外部信號(hào)的及時(shí)反饋和輸入,有利于及時(shí)調(diào)整和完善學(xué)習(xí)模型的特征信息。
【圖文】:
圖 2-1 MapReduce 洗牌和排序示意圖[26]同時(shí) Hadoop 支持多種文件壓縮格式,以便節(jié)省存儲(chǔ)空間和網(wǎng)絡(luò)傳輸流量,,加快數(shù)據(jù)的讀取、寫入和網(wǎng)絡(luò)傳輸。總之,Hadoop 在處理大數(shù)據(jù)方面具有以下非常優(yōu)越的優(yōu)勢:1. 成本低:Hadoop 軟件是開源的,不需要支付購買軟件的成本。同時(shí)也可以運(yùn)行在 x86 的普通 PC 服務(wù)器集群上。2. 可靠性高:Hadoop 對(duì)數(shù)據(jù)存儲(chǔ)多份副本,可以確保數(shù)據(jù)存儲(chǔ)的可靠性。同時(shí)系統(tǒng)會(huì)自動(dòng)監(jiān)測異常任務(wù),當(dāng)數(shù)據(jù)處理失敗后,會(huì)自動(dòng)重新分配計(jì)算任務(wù)。3. 擴(kuò)展性好:Hadoop 可以存儲(chǔ)和分發(fā)橫跨成百上千的并行操作的廉價(jià)的服務(wù)器數(shù)據(jù)集群,同時(shí)在生產(chǎn)環(huán)境中,可以隨時(shí)添加節(jié)點(diǎn)進(jìn)入集群,操作方便簡單。2.4.2 HiveHive 是一個(gè)開源數(shù)據(jù)倉庫基于 Hadoop 構(gòu)建的解決方案。 Hive 支持用類似 SQL 的聲明性語言表達(dá)的查詢HiveQL,它們被編譯成在Hadoop上執(zhí)行的map-reduce作業(yè)。Hive
圖 2-2 Hive 模塊結(jié)構(gòu)圖[28]Hive 主要充當(dāng)數(shù)據(jù)倉庫建模層,管理數(shù)據(jù)倉庫的元數(shù)據(jù)。它一方面可以作為日?qǐng)?bào)、周報(bào)、月報(bào)等統(tǒng)計(jì)分析報(bào)表的引擎;另一方面作為 Spark 和 HDFS 之間的一個(gè)中間層,為 Spark 提供數(shù)據(jù)服務(wù)。但由于 Hive 是基于 MapReduce 運(yùn)算,整個(gè)運(yùn)算過程非常耗時(shí),在目前硬件資源價(jià)格相對(duì)容易獲取的情況下,且經(jīng)常會(huì)面臨客戶緊急需求而臨時(shí)跑數(shù)據(jù);或因系統(tǒng)故障需要重跑數(shù)據(jù),所以實(shí)際生產(chǎn)中一般都會(huì)選擇基于 Spark 進(jìn)行快速計(jì)算。2.4.3 SparkSpark 是一個(gè)用來實(shí)現(xiàn)快速而通用的集群計(jì)算的平臺(tái)[29]。最初是由加州大學(xué)柏克萊分校 AMPLab 所開發(fā)。相對(duì)于 MapReduce 會(huì)在運(yùn)行完工作后將中間結(jié)果數(shù)據(jù)存放到磁盤中,Spark 則直接基于內(nèi)存的計(jì)算技術(shù),能在數(shù)據(jù)尚未寫入硬盤時(shí)即在存儲(chǔ)器內(nèi)分析運(yùn)算,所以 Spark 相對(duì)于 MapReduce 會(huì)更高效。
【學(xué)位授予單位】:華南理工大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2019
【分類號(hào)】:F274;F626;TP311.13
本文編號(hào):2688233
【圖文】:
圖 2-1 MapReduce 洗牌和排序示意圖[26]同時(shí) Hadoop 支持多種文件壓縮格式,以便節(jié)省存儲(chǔ)空間和網(wǎng)絡(luò)傳輸流量,,加快數(shù)據(jù)的讀取、寫入和網(wǎng)絡(luò)傳輸。總之,Hadoop 在處理大數(shù)據(jù)方面具有以下非常優(yōu)越的優(yōu)勢:1. 成本低:Hadoop 軟件是開源的,不需要支付購買軟件的成本。同時(shí)也可以運(yùn)行在 x86 的普通 PC 服務(wù)器集群上。2. 可靠性高:Hadoop 對(duì)數(shù)據(jù)存儲(chǔ)多份副本,可以確保數(shù)據(jù)存儲(chǔ)的可靠性。同時(shí)系統(tǒng)會(huì)自動(dòng)監(jiān)測異常任務(wù),當(dāng)數(shù)據(jù)處理失敗后,會(huì)自動(dòng)重新分配計(jì)算任務(wù)。3. 擴(kuò)展性好:Hadoop 可以存儲(chǔ)和分發(fā)橫跨成百上千的并行操作的廉價(jià)的服務(wù)器數(shù)據(jù)集群,同時(shí)在生產(chǎn)環(huán)境中,可以隨時(shí)添加節(jié)點(diǎn)進(jìn)入集群,操作方便簡單。2.4.2 HiveHive 是一個(gè)開源數(shù)據(jù)倉庫基于 Hadoop 構(gòu)建的解決方案。 Hive 支持用類似 SQL 的聲明性語言表達(dá)的查詢HiveQL,它們被編譯成在Hadoop上執(zhí)行的map-reduce作業(yè)。Hive
圖 2-2 Hive 模塊結(jié)構(gòu)圖[28]Hive 主要充當(dāng)數(shù)據(jù)倉庫建模層,管理數(shù)據(jù)倉庫的元數(shù)據(jù)。它一方面可以作為日?qǐng)?bào)、周報(bào)、月報(bào)等統(tǒng)計(jì)分析報(bào)表的引擎;另一方面作為 Spark 和 HDFS 之間的一個(gè)中間層,為 Spark 提供數(shù)據(jù)服務(wù)。但由于 Hive 是基于 MapReduce 運(yùn)算,整個(gè)運(yùn)算過程非常耗時(shí),在目前硬件資源價(jià)格相對(duì)容易獲取的情況下,且經(jīng)常會(huì)面臨客戶緊急需求而臨時(shí)跑數(shù)據(jù);或因系統(tǒng)故障需要重跑數(shù)據(jù),所以實(shí)際生產(chǎn)中一般都會(huì)選擇基于 Spark 進(jìn)行快速計(jì)算。2.4.3 SparkSpark 是一個(gè)用來實(shí)現(xiàn)快速而通用的集群計(jì)算的平臺(tái)[29]。最初是由加州大學(xué)柏克萊分校 AMPLab 所開發(fā)。相對(duì)于 MapReduce 會(huì)在運(yùn)行完工作后將中間結(jié)果數(shù)據(jù)存放到磁盤中,Spark 則直接基于內(nèi)存的計(jì)算技術(shù),能在數(shù)據(jù)尚未寫入硬盤時(shí)即在存儲(chǔ)器內(nèi)分析運(yùn)算,所以 Spark 相對(duì)于 MapReduce 會(huì)更高效。
【學(xué)位授予單位】:華南理工大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2019
【分類號(hào)】:F274;F626;TP311.13
【參考文獻(xiàn)】
相關(guān)期刊論文 前1條
1 朱揚(yáng)勇;孫婧;;推薦系統(tǒng)研究進(jìn)展[J];計(jì)算機(jī)科學(xué)與探索;2015年05期
相關(guān)碩士學(xué)位論文 前2條
1 楊宇;基于深度學(xué)習(xí)特征的圖像推薦系統(tǒng)[D];電子科技大學(xué);2015年
2 陳達(dá);基于深度學(xué)習(xí)的推薦系統(tǒng)研究[D];北京郵電大學(xué);2014年
本文編號(hào):2688233
本文鏈接:http://www.sikaile.net/guanlilunwen/yingxiaoguanlilunwen/2688233.html
最近更新
教材專著