本文關鍵詞：基于電子商務平臺的數(shù)據(jù)分析系統(tǒng)

  更多相關文章： 分析系統(tǒng) 網(wǎng)絡爬蟲 領域分詞 買家關注點 selenium 評論特征

【摘要】：隨著電子商務的發(fā)展,數(shù)字營銷市場也逐漸擴大,與傳統(tǒng)零售業(yè)相比,數(shù)字營銷的最大特點就是一切都可以通過數(shù)據(jù)化來進行監(jiān)控和改進。通過監(jiān)控數(shù)據(jù)的變化,能夠有效地掌握店鋪、商品、活動的營銷情況。通過分析整體銷售情況、用戶畫像、活動效果等,提煉出有價值的結論,用于輔助運營者更好的進行店鋪運營,提高利潤。因此,數(shù)據(jù)分析在電子商務和數(shù)字營銷領域非常重要。對于需要進行數(shù)字營銷工作的相關人員來說,包括客戶部人員、策劃人員、運營人員、設計師、數(shù)據(jù)分析師等,對數(shù)據(jù)的使用頻率高且頻次多。在這樣的情況下,出現(xiàn)了無權限查詢信息、不同平臺需要登錄多個賬號、平臺提供的第三方數(shù)據(jù)應用未能貼近業(yè)務以及未能根據(jù)業(yè)務進行定制和擴展等問題。針對以上情況,本文以天貓平臺為對象,設計并實現(xiàn)了一個基于電商平臺的數(shù)據(jù)分析系統(tǒng)。具體研究內容如下:(1)研究涉及本系統(tǒng)后臺數(shù)據(jù)處理模塊相關的技術,包括Selenium工具在動態(tài)網(wǎng)頁爬蟲中的應用;分詞方法及分詞系統(tǒng);評論特征提取的方法。(2)介紹系統(tǒng)的需求分析及整體框架,并闡述了系統(tǒng)4大模塊的內容:數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)存儲和數(shù)據(jù)呈現(xiàn)。同時介紹了系統(tǒng)前端的功能及頁面設計、系統(tǒng)數(shù)據(jù)庫的設計。系統(tǒng)前端是基于B/S架構的,并按照三層架構進行設計,包括數(shù)據(jù)訪問層、業(yè)務邏輯層和用戶表示層,采用Asp.net+C#實現(xiàn);數(shù)據(jù)庫采用Sql Server 2012構建;后臺模塊采用Python及Java實現(xiàn)。(3)結合Selenium工具,實現(xiàn)商品基本信息、素材信息和買家評論信息爬蟲,覆蓋PC端和Mobile端,Mobile端的爬取是在PC端上模擬進入Mobile端。(4)利用爬蟲爬取平臺上的品類/品牌/屬性信息,以及通過Tamll對商品標題的分詞信息,設計了評論領域專用詞典構建方法。利用積累的評論,運用分詞工具,對評論進行分詞、詞性標注、詞頻統(tǒng)計,通過人工歸類的手段,構建了通用型的買家關注點模型。(5)實現(xiàn)了買家關注點識別的兩種方法,詞語匹配模型法和模型匹配評論法。詞語匹配模型法的核心是對評論進行分詞、標注、特征抽取后,利用抽取的詞語與模型中的詞語進行匹配及統(tǒng)計。模型匹配評論法的核心是不進行分詞,直接利用模型中的詞語,匹配評論中是否含有與該詞語一致的字串,并進行統(tǒng)計。實驗結果證明,在系統(tǒng)當前條件下,兩種方法都能夠適應跨類別評論的分析,而在算法表現(xiàn)是,模型匹配評論法的有效評論查全率和各個類別的匹配準確率要優(yōu)于詞語匹配模型法。
【關鍵詞】：分析系統(tǒng) 網(wǎng)絡爬蟲 領域分詞 買家關注點 selenium 評論特征
【學位授予單位】：廣東外語外貿大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：F724.6;F274
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第1章 緒論9-14
• 1.1 研究背景9-10
• 1.2 研究意義10-11
• 1.3 研究創(chuàng)新點11-12
• 1.4 論文工作內容12
• 1.5 論文組織結構12-14
• 第2章 相關技術研究現(xiàn)狀14-25
• 2.1 網(wǎng)絡爬蟲技術14-18
• 2.1.1 靜態(tài)網(wǎng)頁爬蟲15
• 2.1.2 動態(tài)網(wǎng)頁爬蟲15-18
• 2.2 分詞技術18-22
• 2.2.1 基于詞典的分詞方法19-20
• 2.2.2 基于統(tǒng)計的分詞方法20-22
• 2.2.3 混合的分詞方法22
• 2.3 評論特征提取22-24
• 2.3.1 人工定義模型23
• 2.3.2 文本模式提取特征23-24
• 2.3.3 關聯(lián)規(guī)則提取特權24
• 2.4 小結24-25
• 第3章 系統(tǒng)設計25-50
• 3.1 需求分析25-26
• 3.2 系統(tǒng)整體框架26
• 3.3 系統(tǒng)整體功能模塊設計26-31
• 3.3.1 數(shù)據(jù)獲取28-29
• 3.3.2 數(shù)據(jù)處理29-31
• 3.3.3 數(shù)據(jù)存儲31
• 3.3.4 數(shù)據(jù)呈現(xiàn)31
• 3.4 系統(tǒng)前端頁面功能設計31-41
• 3.4.1 經(jīng)營詳情、產(chǎn)品銷售、流量來源、營銷效果頁面31-37
• 3.4.2 商品分析頁面37-39
• 3.4.3 素材分析頁面39-40
• 3.4.4 買家關注點頁面40-41
• 3.5 系統(tǒng)數(shù)據(jù)庫設計41-49
• 3.5.1 經(jīng)營詳情表設計41-42
• 3.5.2 產(chǎn)品銷售表設計42-43
• 3.5.3 流量來源表設計43-44
• 3.5.4 營銷效果表設計44-45
• 3.5.5 商品分析表設計45-46
• 3.5.6 素材分析表設計46
• 3.5.7 買家關注點表設計46-49
• 3.6 小結49-50
• 第4章 系統(tǒng)后臺模塊實現(xiàn)50-69
• 4.1 網(wǎng)絡爬蟲模塊的實現(xiàn)50-55
• 4.1.1 商品基本信息爬蟲50-52
• 4.1.2 素材信息爬蟲52-53
• 4.1.3 買家評論爬蟲53-55
• 4.2 買家關注點模型的構建55-58
• 4.3 評論領域專用詞典的構建58-59
• 4.4 分詞/標注/候選特征詞抽取模塊的實現(xiàn)59-61
• 4.4.1 分詞/標注/候選特征詞抽取流程59-60
• 4.4.2 中科院NLPIR接口60
• 4.4.3 實現(xiàn)代碼60-61
• 4.5 買家關注點識別及統(tǒng)計模塊的實現(xiàn)61-68
• 4.5.1 詞語匹配模型法62-63
• 4.5.2 模型匹配評論法63-64
• 4.5.3 實驗結果與分析64-68
• 4.6 小結68-69
• 第5章 總結與展望69-71
• 5.1 全文總結69-70
• 5.2 工作展望70-71
• 參考文獻71-74
• 致謝74-75
• 在學期間的研究成果及發(fā)表的學術論文75

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 孟慶超;李永亮;;智能數(shù)據(jù)分析系統(tǒng)研究[J];現(xiàn)代商貿工業(yè);2008年11期

2 郭靜;;鋼鐵企業(yè)能源數(shù)據(jù)分析系統(tǒng)的構建[J];昆明理工大學學報(理工版);2009年05期

3 毛蘭斌;;基于機電結構檢測的可靠性數(shù)據(jù)分析系統(tǒng)設計[J];中國高新技術企業(yè);2008年08期

4 毛羽芳;王銳明;;天津市工商行政管理局數(shù)據(jù)分析系統(tǒng)的建設[J];信息系統(tǒng)工程;2010年07期

5 章璐;;人民幣跨境結算業(yè)務數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[J];中國金融電腦;2013年01期

6 張振華 ,王浩;數(shù)據(jù)分析系統(tǒng)性能調整[J];中國金融電腦;2005年04期

7 羅國忠;;建立電力營銷數(shù)據(jù)分析系統(tǒng)[J];科技創(chuàng)新導報;2008年03期

8 羅國忠;;電力營銷數(shù)據(jù)分析系統(tǒng)研究[J];現(xiàn)代商貿工業(yè);2008年05期

9 朱曉統(tǒng);王興杰;;可擴展性的架構設計——談科立訊數(shù)據(jù)分析系統(tǒng)[J];中國無線電;2008年06期

10 劉穎;;電信企業(yè)數(shù)據(jù)分析系統(tǒng)的現(xiàn)狀及未來發(fā)展探索[J];山西焦煤科技;2007年09期

中國重要會議論文全文數(shù)據(jù)庫 前7條

1 顧紅生;;淺談汽車行業(yè)競品數(shù)據(jù)分析系統(tǒng)解決方案[A];第八屆中國汽車設計與研發(fā)高峰論壇論文集[C];2013年

2 辛建峰;辛陽;;數(shù)據(jù)分析系統(tǒng)中的自定義量度方案設計實現(xiàn)[A];2011年通信與信息技術新進展——第八屆中國通信學會學術年會論文集[C];2011年

3 尚屹;朱琦;;國家持久性有機污染物數(shù)據(jù)分析系統(tǒng)研究[A];2008中國環(huán)境科學學會學術年會優(yōu)秀論文集（下卷）[C];2008年

4 鄭慧娟;周嘉元;李斌;;水電站生產(chǎn)數(shù)據(jù)分析系統(tǒng)及其現(xiàn)場應用[A];中國水力發(fā)電工程學會信息化專委會2010年學術交流會論文集[C];2010年

5 張永忠;趙靜;;基于事件檢測算法的交通數(shù)據(jù)分析系統(tǒng)[A];2008全國第十三屆自動化應用技術學術交流會論文集[C];2008年

6 王治國;王薇;訾凱;任鵬;;臨床檢驗方法確認與性能驗證數(shù)據(jù)分析系統(tǒng)(MVS)的開發(fā)與應用[A];中華醫(yī)學會第九次全國檢驗醫(yī)學學術會議暨中國醫(yī)院協(xié)會臨床檢驗管理專業(yè)委員會第六屆全國臨床檢驗實驗室管理學術會議論文匯編[C];2011年

7 董剛;孫建林;譚耘宇;;建立梅鋼熱軋數(shù)據(jù)分析系統(tǒng)[A];自動化技術與冶金流程節(jié)能減排——全國冶金自動化信息網(wǎng)2008年會論文集[C];2008年

中國重要報紙全文數(shù)據(jù)庫 前8條

1 記者 劉慧敏;開發(fā)區(qū)一企業(yè)研發(fā)成功“消費行為數(shù)據(jù)分析系統(tǒng)”[N];寧波日報;2009年

2 別志銘;基于云的大數(shù)據(jù)分析系統(tǒng)[N];網(wǎng)絡世界;2013年

3 袁毅;蘇州：數(shù)據(jù)分析系統(tǒng)精準問診城市交通[N];人民公安報·交通安全周刊;2011年

4 紹興職業(yè)技術學院 沈華峰 寧波大學信息科學與工程學院 朱雙東;基于可縮放矢量圖形數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[N];中國計算機報;2010年

5 記者 董科;轉型客戶服務 打造全新競爭力[N];期貨日報;2010年

6 江蘇省淮安市漣水地稅局 周躍 黃呂勝 童政;應完善稅收數(shù)據(jù)分析系統(tǒng)提升使用效能[N];中國稅務報;2013年

7 陶利軍;路橋當好企業(yè)經(jīng)濟分析師[N];中國工商報;2007年

8 本報記者 鞏國強;汛潮的“賣點”[N];山西經(jīng)濟日報;2004年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 馬寶全;新疆車牌信息數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[D];吉林大學;2016年

2 李全偉;移動數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[D];山東大學;2016年

3 陳盛力;SEM廣告數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[D];北京交通大學;2016年

4 段凌軒;基于HTTP協(xié)議的網(wǎng)絡數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2016年

5 廖靜欣;基于電子商務平臺的數(shù)據(jù)分析系統(tǒng)[D];廣東外語外貿大學;2016年

6 孔令云;基于云計算的卡口交通數(shù)據(jù)分析系統(tǒng)[D];天津大學;2014年

7 劉勝;交通管理執(zhí)法質量數(shù)據(jù)分析系統(tǒng)研究[D];天津大學;2014年

8 廖靜欣;基于電子商務平臺的數(shù)據(jù)分析系統(tǒng)[D];廣東外語外貿大學;2016年

9 周樂安;氣象數(shù)據(jù)分析系統(tǒng)的設計與預報應用[D];杭州電子科技大學;2016年

10 馮偉;基于云計算的海量數(shù)據(jù)分析系統(tǒng)的研究與實現(xiàn)[D];上海交通大學;2012年

，

本文編號：773703