本文關(guān)鍵詞：基于大數(shù)據(jù)的電子商務(wù)供求分析系統(tǒng)

  更多相關(guān)文章： 電子商務(wù) 大數(shù)據(jù) HIVE HADOOP

【摘要】：電子商務(wù)平臺(tái)中經(jīng)常存在著供求差距,所謂供求差距是指商家(供給方)現(xiàn)有的商品不滿足買家(需求方)的需求。在電子商務(wù)中,買家的購物需求往往蘊(yùn)含在買家的購物行為中,例如以關(guān)鍵詞搜索商品,在商品網(wǎng)頁中點(diǎn)擊價(jià)格、類別、運(yùn)送時(shí)間要素等。如何從買家購物行為中分析出買家的需求,并提供給賣家作為供給的參考,從而解決買賣雙方的供求差距,是電子商務(wù)需要解決的重要問題。針對(duì)上述問題,本文以國際著名的某電子商務(wù)公司(簡稱E公司)的實(shí)際項(xiàng)目為背景,針對(duì)如何分析在TB級(jí)用戶行為數(shù)據(jù)的基礎(chǔ)上得到熱賣與非熱賣的商品列表的實(shí)際需求,在對(duì)基于Hive的數(shù)據(jù)存儲(chǔ)技術(shù)、基于規(guī)則的數(shù)據(jù)清洗技術(shù)、基于Map Reduce的供求關(guān)系分析建模技術(shù)等相關(guān)技術(shù)進(jìn)行分析研究的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于大數(shù)據(jù)的電子商務(wù)供求分析系統(tǒng),并通過在E公司的電子商務(wù)平臺(tái)中對(duì)3TB實(shí)際數(shù)據(jù)的系統(tǒng)測試以及三個(gè)月的實(shí)際上線運(yùn)行,對(duì)該系統(tǒng)的可行性和有效性進(jìn)行了驗(yàn)證。本文的工作內(nèi)容有以下幾個(gè)方面:(1)針對(duì)電子商務(wù)平臺(tái)大規(guī)模用戶行為數(shù)據(jù)的提取與清理問題,對(duì)數(shù)據(jù)進(jìn)行了ETL(Extract,transformation and load),提出了基于規(guī)則的數(shù)據(jù)清理以及基于HADOOP Hive數(shù)據(jù)倉庫對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和處理的方案,將數(shù)據(jù)整合為適合進(jìn)行數(shù)據(jù)分析的形式,解決大規(guī)模數(shù)據(jù)量下對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)與處理的效率問題。(2)使用大規(guī)模行為數(shù)據(jù)對(duì)買家用戶需求進(jìn)行提取與歸并。在T級(jí)別的數(shù)據(jù)量下,對(duì)用戶搜索關(guān)鍵詞和用戶搜索行為進(jìn)行處理,根據(jù)不同搜索行為下的用戶需求進(jìn)行歸并,提取需求信息并對(duì)應(yīng)到相應(yīng)商品上�；贖ive設(shè)計(jì)并實(shí)現(xiàn)了針對(duì)此問題的UDF(User define function),對(duì)用戶的搜索關(guān)鍵詞進(jìn)行處理,對(duì)用戶的搜索行為進(jìn)行分析,提取用戶需求,完成對(duì)大規(guī)模用戶行為數(shù)據(jù)的分析與處理。(3)根據(jù)用戶需求與電子商務(wù)平臺(tái)的整體供給,對(duì)供需關(guān)系進(jìn)行建模。根據(jù)不同的業(yè)務(wù)需求,對(duì)不同的業(yè)務(wù)指標(biāo)建立模型,在Hadoop Map Reduce下設(shè)計(jì)并實(shí)現(xiàn),提供潛在熱銷產(chǎn)品的目錄清單,滿足了大規(guī)模數(shù)據(jù)量下回歸分析的效率要求。
【關(guān)鍵詞】：電子商務(wù) 大數(shù)據(jù) HIVE HADOOP
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：F713.36;TP311.52
【目錄】：

• 摘要6-8
• abstract8-13
• 1 緒論13-20
• 1.1 研究背景與意義13-14
• 1.2 國內(nèi)外研究現(xiàn)狀14-17
• 1.3 主要研究內(nèi)容17-18
• 1.4 論文結(jié)構(gòu)18-19
• 1.5 本章小結(jié)19-20
• 2 系統(tǒng)相關(guān)技術(shù)綜述20-31
• 2.1 ETL技術(shù)分析與研究20-21
• 2.2 數(shù)據(jù)倉庫與分布式系統(tǒng)分析與研究21-30
• 2.2.1 HDFS分布式文件系統(tǒng)22-25
• 2.2.2 Map Reduce并行計(jì)算框架25-28
• 2.2.3 HIVE數(shù)據(jù)倉庫28-30
• 2.3 本章小結(jié)30-31
• 3 系統(tǒng)需求分析及架構(gòu)設(shè)計(jì)31-42
• 3.1 業(yè)務(wù)分析31-35
• 3.1.1 買家購物流程32-34
• 3.1.2 買家購物行為數(shù)據(jù)模型34-35
• 3.2 系統(tǒng)需求分析35-38
• 3.2.1 功能性需求35-38
• 3.2.2 非功能性需求38
• 3.3 系統(tǒng)架構(gòu)38-40
• 3.3.1 邏輯架構(gòu)38-40
• 3.3.2 系統(tǒng)部署視圖40
• 3.4 系統(tǒng)可行性分析40-41
• 3.5 本章小結(jié)41-42
• 4 核心功能模塊的設(shè)計(jì)與實(shí)現(xiàn)42-66
• 4.1 數(shù)據(jù)ETL模塊43-52
• 4.1.1 數(shù)據(jù)提取43-45
• 4.1.2 數(shù)據(jù)轉(zhuǎn)換45-47
• 4.1.3 數(shù)據(jù)清洗47-51
• 4.1.4 數(shù)據(jù)裝載51-52
• 4.2 供求數(shù)據(jù)處理模塊52-59
• 4.3 供求模型分析模塊59-65
• 4.3.1 供求關(guān)系數(shù)據(jù)模型59-62
• 4.3.2 供求關(guān)系建模與實(shí)現(xiàn)62-65
• 4.4 本章小結(jié)65-66
• 5 系統(tǒng)測試及應(yīng)用66-76
• 5.1 系統(tǒng)測試66-73
• 5.1.1 功能測試66-69
• 5.1.2 性能測試69-73
• 5.2 系統(tǒng)應(yīng)用73-75
• 5.2.1 應(yīng)用概述73
• 5.2.2 運(yùn)行實(shí)例73-74
• 5.2.3 應(yīng)用效果及分析74-75
• 5.3 本章小結(jié)75-76
• 6 總結(jié)與展望76-77
• 6.1 總結(jié)76
• 6.2 展望76-77
• 參考文獻(xiàn)77-80
• 致謝80-81
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄81

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前2條

1 滿福璽;;民族出版物市場供求分析[J];中央民族大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版);2008年05期

2 ;[J];;年期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前2條

1 ;商務(wù)部:2005年上半年主要商品供求分析[A];中國物流與采購聯(lián)合會(huì)會(huì)員通訊總第74期—84期（2005年）[C];2005年

2 ;全國鹽產(chǎn)品供求分析[A];中國純堿工業(yè)發(fā)展戰(zhàn)略研究[C];2004年

中國重要報(bào)紙全文數(shù)據(jù)庫 前4條

1 本報(bào)通訊員 曲仁;曲阜人才市場第三季度人才供求分析[N];濟(jì)寧日?qǐng)?bào);2009年

2 首席記者 侯冰冰;三季度人力資源市場供求分析和四季度預(yù)測發(fā)布[N];鞍山日?qǐng)?bào)　;2011年

3 本報(bào)記者：李佳鵬 洛濤;六大城市土地供求分析與預(yù)測[N];經(jīng)濟(jì)參考報(bào);2005年

4 本報(bào)記者 呂賢如;總體供不應(yīng)求 結(jié)構(gòu)缺口可觀[N];光明日?qǐng)?bào);2001年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 趙升;基于大數(shù)據(jù)的電子商務(wù)供求分析系統(tǒng)[D];上海交通大學(xué);2015年

2 賈巧莉;中國水果供求分析及預(yù)測[D];江南大學(xué);2009年

3 張望;武漢城市圈耕地供求分析及占補(bǔ)平衡體系構(gòu)建[D];華中農(nóng)業(yè)大學(xué);2013年

，

本文編號(hào)：1112948