本文關(guān)鍵詞：基于Scrapy的電子商務(wù)網(wǎng)絡(luò)測(cè)量與網(wǎng)絡(luò)特征分析，由筆耕文化傳播整理發(fā)布。

【摘要】：互聯(lián)網(wǎng)的廣泛使用和互聯(lián)網(wǎng)應(yīng)用的不斷豐富為電子商務(wù)蓬勃發(fā)展提供了良好的環(huán)境和契機(jī)。目前淘寶網(wǎng)是我國(guó)最具實(shí)力的個(gè)人對(duì)個(gè)人的網(wǎng)上交易網(wǎng)站,關(guān)于電子商務(wù)網(wǎng)絡(luò)特征的研究主要集中在淘寶網(wǎng)上,都是以電子商務(wù)的營(yíng)銷為目的來(lái)剖析網(wǎng)上交易行為,主要包括信用評(píng)價(jià)體制、營(yíng)銷策略、賣(mài)家銷售參數(shù)的統(tǒng)計(jì)分析等。本文將從圖論的角度來(lái)研究電子商務(wù)網(wǎng)絡(luò),首先通過(guò)數(shù)據(jù)抓取技術(shù)得到一個(gè)真實(shí)的網(wǎng)絡(luò)數(shù)據(jù)集,然后在該數(shù)據(jù)集上分析淘寶網(wǎng)的拓?fù)涮卣骷捌渲杏脩粜袨樘攸c(diǎn)。目的是探究在線社會(huì)網(wǎng)絡(luò)中的用戶行為對(duì)網(wǎng)上交易的影響。主要工作包括以下三個(gè)方面： 第一,由于網(wǎng)絡(luò)規(guī)模非常龐大且網(wǎng)絡(luò)結(jié)構(gòu)非常復(fù)雜,引入抽樣技術(shù)成為大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)測(cè)量中不可缺少的環(huán)節(jié)。本文提出了一種適用于二分網(wǎng)絡(luò)的抽樣算法,該算法是通過(guò)理論推導(dǎo)和算法實(shí)現(xiàn)的適應(yīng)性修改將適用于普通圖的抽樣算法MHRW(Metropolis—Hastings Random Walk)算法推廣到二分圖上。MHRW算法是一種性能比較好的無(wú)偏的抽樣算法。為了驗(yàn)證該算法在二分圖上的抽樣性能,本文分別在合成圖和實(shí)際網(wǎng)絡(luò)數(shù)據(jù)集上檢測(cè)MHRW算法的抽樣效果。 第二,本文選用Scrapy爬蟲(chóng)框架作為爬取數(shù)據(jù)的工具。通過(guò)對(duì)淘寶網(wǎng)頁(yè)頁(yè)面格式的深入分析,結(jié)合BFS和MHRW兩種抽樣方法,在5臺(tái)PC上同時(shí)并發(fā)連續(xù)運(yùn)行爬蟲(chóng)程序30天,最終得到淘寶分享網(wǎng)絡(luò)的數(shù)據(jù)集。本文中列出了數(shù)據(jù)抓取過(guò)程中遇到的主要問(wèn)題,并通過(guò)對(duì)問(wèn)題本質(zhì)的剖析給出了最終的解決方法。為了分析分享平臺(tái)與賣(mài)家特性的關(guān)系,本文還抓取了淘寶網(wǎng)中服裝類所有賣(mài)家的信息。分析發(fā)現(xiàn)：網(wǎng)絡(luò)中的商家存在短時(shí)間內(nèi)迅速崛起的現(xiàn)象,說(shuō)明電子商務(wù)為新生的有強(qiáng)勁發(fā)展實(shí)力的賣(mài)家創(chuàng)造了良好的環(huán)境,為新創(chuàng)業(yè)者提供了一個(gè)較好的平臺(tái)。 第三,在淘寶分享平臺(tái)數(shù)據(jù)集上分析用戶行為特征。本文給出了所得數(shù)據(jù)集的規(guī)模參數(shù),分析了買(mǎi)家、寶貝、賣(mài)家三類節(jié)點(diǎn)的屬性特征,進(jìn)一步給出了賣(mài)家與相連買(mǎi)家的各屬性之間的關(guān)系,最后討論了在買(mǎi)家分享網(wǎng)絡(luò)的特點(diǎn)。分析結(jié)果表明,淘寶分享網(wǎng)絡(luò)中買(mǎi)家和寶貝節(jié)點(diǎn)的度值大部分處于10～100之間；寶分享平臺(tái)本質(zhì)上是大買(mǎi)家為大賣(mài)家做廣告的一個(gè)平臺(tái),而其他的中小買(mǎi)家的分享行為只是幫助大買(mǎi)家支撐著這個(gè)平臺(tái),中小賣(mài)家也很少?gòu)倪@個(gè)分享平臺(tái)中獲益；最后發(fā)現(xiàn)相似買(mǎi)家的分享行為會(huì)有越來(lái)越相似的趨勢(shì),并且這個(gè)概率隨著時(shí)間的推移逐漸增大,另外規(guī)模越大的買(mǎi)家團(tuán)發(fā)生相同分享的概率也越大。
【關(guān)鍵詞】：電子商務(wù) 淘寶網(wǎng) 二分網(wǎng)絡(luò) 抽樣方法 MHRW Scrapy 用戶行為
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP393.09
【目錄】：

• 致謝5-6
• 中文摘要6-7
• ABSTRACT7-11
• 1 引言11-19
• 1.1 研究背景11-13
• 1.2 研究現(xiàn)狀13-15
• 1.3 研究意義15-16
• 1.4 論文主要工作及結(jié)構(gòu)安排16-19
• 2 電子商務(wù)網(wǎng)絡(luò)測(cè)量中的抽樣算法研究19-27
• 2.1 常見(jiàn)抽樣算法簡(jiǎn)介19-20
• 2.2 MHRW算法在二分圖上的推廣20-22
• 2.2.1 算法推廣的理論基礎(chǔ)20-21
• 2.2.2 算法實(shí)現(xiàn)的適應(yīng)性修改21-22
• 2.3 MHRW算法抽樣結(jié)果測(cè)試22-26
• 2.3.1 關(guān)于抽樣比的討論22-23
• 2.3.2 合成圖抽樣性能23-25
• 2.3.3 實(shí)際網(wǎng)絡(luò)數(shù)據(jù)抽樣性能25-26
• 2.4 本章小結(jié)26-27
• 3 淘寶網(wǎng)數(shù)據(jù)爬取技術(shù)和爬取策略27-48
• 3.1 爬蟲(chóng)技術(shù)簡(jiǎn)介27-29
• 3.2 本文采用數(shù)據(jù)抓取技術(shù)29-34
• 3.2.1 Scrapy基本原理29-30
• 3.2.2 功能模塊定制30-34
• 3.3 測(cè)量中的問(wèn)題及解決方法34-42
• 3.3.1 網(wǎng)頁(yè)動(dòng)態(tài)數(shù)據(jù)提取問(wèn)題34-37
• 3.3.2 存儲(chǔ)問(wèn)題37
• 3.3.3 下一頁(yè)鏈接提取問(wèn)題37-38
• 3.3.4 MHRW抽樣算法應(yīng)用問(wèn)題38-41
• 3.3.5 測(cè)量頻率限制問(wèn)題41
• 3.3.6 連續(xù)抓取的安全性問(wèn)題41-42
• 3.4 大規(guī)模數(shù)據(jù)抓取策略42-43
• 3.4.1 抓取策略思路42
• 3.4.2 數(shù)據(jù)規(guī)模分析42-43
• 3.5 數(shù)據(jù)集描述43-47
• 3.5.1 據(jù)結(jié)構(gòu)描述43-45
• 3.5.2 所得數(shù)據(jù)集描述45-47
• 3.6 本章小結(jié)47-48
• 4 寶網(wǎng)用戶行為特征分析48-66
• 4.1 淘寶網(wǎng)體系結(jié)構(gòu)簡(jiǎn)介48-50
• 4.2 淘寶網(wǎng)中賣(mài)家特征的分析50-51
• 4.3 淘寶分享網(wǎng)絡(luò)特征分析51-60
• 4.3.1 淘寶分享網(wǎng)絡(luò)拓?fù)涮卣鞣治?/span>52-54
• 4.3.2 分享平臺(tái)與賣(mài)家屬性相關(guān)分析54-57
• 4.3.3 分享平臺(tái)中兩類節(jié)點(diǎn)分享效果分析57-60
• 4.4 買(mǎi)家網(wǎng)絡(luò)特征分析60-64
• 4.4.1 買(mǎi)家網(wǎng)絡(luò)拓?fù)涮卣鞣治?/span>60-62
• 4.4.2 買(mǎi)家團(tuán)參數(shù)分析62-63
• 4.4.3 買(mǎi)家團(tuán)后續(xù)分享行為變化趨勢(shì)63-64
• 4.5 本章小結(jié)64-66
• 5 結(jié)論與展望66-68
• 5.1 全文總結(jié)66-67
• 5.2 未來(lái)展望67-68
• 參考文獻(xiàn)68-70
• 作者簡(jiǎn)歷70-72
• 學(xué)位論文數(shù)據(jù)集72

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前6條

1 俞金國(guó);王麗華;連顯淼;;電子商鋪空間分布規(guī)律及其影響因素探究——來(lái)自淘寶網(wǎng)的實(shí)證[J];地域研究與開(kāi)發(fā);2010年06期

2 胡俠;;C2C電子商務(wù)信用評(píng)價(jià)方法探析——對(duì)比Ebay與淘寶[J];大眾標(biāo)準(zhǔn)化;2010年01期

3 鄭倩冰;朱培棟;王永文;徐明;;基于在線社會(huì)網(wǎng)絡(luò)的網(wǎng)絡(luò)協(xié)議增強(qiáng)機(jī)制研究[J];計(jì)算機(jī)科學(xué);2011年06期

4 李維安;吳德勝;徐皓;;網(wǎng)上交易中的聲譽(yù)機(jī)制——來(lái)自淘寶網(wǎng)的證據(jù)[J];南開(kāi)管理評(píng)論;2007年05期

5 江耘;;網(wǎng)絡(luò)商業(yè)信用的價(jià)值 基于淘寶網(wǎng)交易評(píng)價(jià)的實(shí)證分析[J];商業(yè)時(shí)代;2010年32期

6 李曉虎;;淘寶網(wǎng)營(yíng)銷模式研究[J];中國(guó)商貿(mào);2011年12期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 張宇;在線社會(huì)網(wǎng)絡(luò)信任計(jì)算與挖掘分析中若干模型與算法研究[D];浙江大學(xué);2009年

  本文關(guān)鍵詞：基于Scrapy的電子商務(wù)網(wǎng)絡(luò)測(cè)量與網(wǎng)絡(luò)特征分析，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：409268