在“互聯(lián)網(wǎng)+”的大背景下,大型制造企業(yè)通過PC端、移動端和線下等多渠道拓展業(yè)務所產(chǎn)生的數(shù)據(jù)量已從TB級別達到了 PB級別,業(yè)務類型和制造數(shù)據(jù)的繁榮為制造企業(yè)經(jīng)營決策帶來新的機遇的同時,也對傳統(tǒng)的數(shù)據(jù)挖掘方法提出了新的挑戰(zhàn)。面對全域市場范圍內(nèi)800多萬客戶的訂單數(shù)據(jù)和銷售數(shù)據(jù)所造成的數(shù)據(jù)空間冗余和構(gòu)成信息復雜的多源異構(gòu)問題,需要研究如何有效整合大量的、不統(tǒng)一的異構(gòu)數(shù)據(jù)源,并解決產(chǎn)品投放過程中社會庫存積壓大和產(chǎn)品失衡發(fā)展的問題,為新形式下產(chǎn)品的精準投放提供決策依據(jù)。本文針對制造企業(yè)在產(chǎn)品投放經(jīng)營過程中因多源異構(gòu)的訂銷數(shù)據(jù)和業(yè)務流程映射關(guān)系不清晰所造成的經(jīng)營決策不準確的問題,圍繞多源異構(gòu)數(shù)據(jù)的采集、處理和融合、產(chǎn)品投放過程中的銷售預測和試點客戶推薦、產(chǎn)品投放策略模型等數(shù)據(jù)挖掘中的關(guān)鍵問題展開研究,主要工作和貢獻如下:（1）本文構(gòu)建了多源異構(gòu)環(huán)境下客戶信息采集處理與基于用戶偏好融合方法。通過各區(qū)域巡點專員經(jīng)線下走訪、采集、整合后上報的方式和互聯(lián)網(wǎng)請求的方式完成數(shù)據(jù)采集工作,并導入到分布式多源異構(gòu)數(shù)據(jù)庫中。針對多源異構(gòu)數(shù)據(jù)表述不統(tǒng)一、字段多冗余和數(shù)值多指標等問題,提出通過XML技術(shù)和建立數(shù)據(jù)屬性... 

【文章來源】：浙江理工大學浙江省

【文章頁數(shù)】：74 頁

【學位級別】：碩士

【部分圖文】：

圖１．１主要研宄內(nèi)容框架??（１）基于多源異構(gòu)數(shù)據(jù)環(huán)境的海量客戶信息采集和處理：通過各區(qū)域巡點專員經(jīng)線下??走訪、采集、整合后上報的方式，和互聯(lián)網(wǎng)請求各區(qū)域內(nèi)業(yè)務系統(tǒng)的方式完成全域范圍內(nèi)??

透明和無差異。因此制造企業(yè)迫切需要把研宄??重心放在多源異構(gòu)數(shù)據(jù)的融合，通過建立統(tǒng)一的異構(gòu)數(shù)據(jù)轉(zhuǎn)換標準和自動轉(zhuǎn)換機制，消除??異構(gòu)數(shù)據(jù)間的語義鴻溝和維度缺失，實現(xiàn)多源異構(gòu)數(shù)據(jù)統(tǒng)一化、標準化。??本章節(jié)針對多源異構(gòu)數(shù)據(jù)環(huán)境下的客戶信息采集和處理進行分析介紹，為滿足制造企??業(yè)對多源異構(gòu)數(shù)據(jù)的集成、存儲和管理提出解決方法，構(gòu)建以大數(shù)據(jù)為中心的全域數(shù)據(jù)智??能一體化平臺，實現(xiàn)制造數(shù)據(jù)全流程運轉(zhuǎn)監(jiān)控，確保處理數(shù)據(jù)的及時性以提高制造企業(yè)經(jīng)??營決策的準確性［４２］。全域數(shù)據(jù)智能？體化平臺框架如圖２．１所示，典中以實現(xiàn)數(shù)據(jù)快速盤??ｉ句、及吋響應為丨丨標，利川數(shù)據(jù)驅(qū)動控制信總采集到智能決策各環(huán)Ｖ／，對數(shù)裾迸行分類、??分流處理后進行集成、介：儲和加工，實現(xiàn)制造企業(yè)對全流程制造數(shù)椐的實時加丨：Ｕ處觀，??同吋為后文針對制造產(chǎn)品所做的鍆仿預測、客戶推薦及精準投放研究提供數(shù)據(jù)支挖。??ｆ押能決％?！?Ｕ購、＇丨產(chǎn)、銷售…）（１？測、推薦、投放…）Ｉ??：?＾???咖伙迚作詢技木?（７?分布式名源ｗ構(gòu)玫船彳．：?）??二：：：：一二：：：：：：………一——一二??丨丨規(guī)梧（１本］派生］衍笙「預瞥：??丨：屬性指標指標關(guān)系體系丨??Ｊ????／?Ｖ?／?＼??Ｖ．?ｖ?！?Ｊ，１?＇??多源異構(gòu)據(jù)?丨，￣￣￣７?０?ｆｌＳｉｌ??科學指標系統(tǒng)構(gòu)建?１數(shù)據(jù)副！合￣）；??與ｗ能融合技術(shù)?｜（（?＾）?（５５５?（供土商）（業(yè)＾程］）??ｉ?｜供應商、分銷商、零售、消費者??、???????＊——■？？－－－－－－－－－??（ｆ數(shù)成）冼??ｉｉ允構(gòu)化數(shù)椐?１＇：??ＰＡ程］?‘盔以―ＫＣ?

［接口和美團外賣ＯｐｅｎＡＰｌ接Ｉ?Ｉ提供的ＰＯＩ信息和零售??類信息等。??２．２．３多源數(shù)據(jù)導入??大型制造企業(yè)在建設(shè)大數(shù)據(jù)平臺的過程中，由于多源數(shù)據(jù)間的差異比較大，？般都是??將直接經(jīng)過業(yè)務系統(tǒng)加工后的數(shù)據(jù)才存儲到數(shù)據(jù)庫中，而想其他文件類型的數(shù)據(jù)一般都是??在文件服務器的磁盤上進行存儲。為了能夠直接獲取到這些難以直接在數(shù)據(jù)庫中存儲的數(shù)??據(jù)，本文在導入不同數(shù)據(jù)源和數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)時借助不同的數(shù)據(jù)導入工具，將多源數(shù)據(jù)集??中到數(shù)據(jù)倉庫中進行統(tǒng)一管理，為后續(xù)數(shù)據(jù)處理做準備。??如圖２．２所示，對物流數(shù)據(jù)、監(jiān)控數(shù)據(jù)和氣象數(shù)據(jù)等數(shù)據(jù)導入，主要通過ＲｏｃｋｅｔＭＱ或??Ｋａｆｋａ以消息隊列的形式進行分發(fā)處理，以滿足數(shù)椐實時忭耍求；對客戶數(shù)據(jù)、銷售數(shù)據(jù)??和ｉＰ丫ｌ數(shù)據(jù)等實吋性要求不高的關(guān)系型數(shù)據(jù)導入，主要Ｍ過Ｓｑｏｏｐ成ＥＴＬ／等工具直接導??入到丨ｌａｄｏｏｐ的ＨＤＦＳ中；對文捫數(shù)據(jù)、視頻數(shù)椐和位置數(shù)據(jù)等女全性要求較Ａ的數(shù)據(jù)導??入，主要通過ＦＴＰ等文件傳輸協(xié)議傳輸?shù)姆绞綄氲剑龋椋觯逯�；對應用�?shù)據(jù)和日志數(shù)據(jù)等??文木類型的數(shù)據(jù)導入，主要通過Ｆｌｕｍｅ等工具導入到ＨＢａｓｅ中。??數(shù)據(jù)倉庫?ＨＤＦＳ?Ｈｉｖｅ?Ｈｂａｓｏ??上：?＜＞．．．．?：…???！?ｆ?＊—＊?Ｎ?／■?ｆ＾ｆ??Ｎ?Ｊ??導入工具?ｉ?Ｋａｆｋａ?Ｓｑｏｏｐ或ＥＴＬ?Ｉ＇ＴＰ?Ｆｌｕｍｅ??非：：二今二：：：：：〇二：：：寺：：：＿＾：：：作??！?物流數(shù)據(jù)?客戶數(shù)據(jù)?文檔數(shù)據(jù)??各數(shù)據(jù)源ｉ?監(jiān)控數(shù)據(jù)?銷售數(shù)據(jù)?視頻數(shù)據(jù)??氣象數(shù)據(jù)?訂單數(shù)據(jù)?位置數(shù)據(jù)??ｉｌ——＜＞——丄—???


本文編號：3051815